apache pig - how to flatten, denormalize in pig -
मैं निम्नलिखित स्कीमा से एक चपटा शामिल तालिका बनाना चाहूंगा
titles = FOREACH कार्यक्रम जेनरेट करें (px.pig.udf.PARSE_KEYWORDS (program_xml)) प्रोग्राम: (रूट_आईडी: लंबी, आईडी: बैग {(आईडीटीइप: चारराय, आईडीवल्यू: चारराय)}, कीवर्ड: बैग {(कुंजी प्रकार: चारराय, कुंजी मूल्य: चारार्रे )}); अगर इनपुट है (1, {('x', 'foo'), ('y', 'bar')}, {}} (2, {('x', 'fiz'), ('y', 'buzz')}, {}) (2, {('x', 'moo')}, {}) ..
आउटपुट कुछ ऐसा होना चाहिए:
root_id idvalue 1 foo 1 बार 2 फ़ज़ी 2 buzz 3 moo मैं सुअर में कैसे करूँगा?
-
परियोजना के पहले दो स्तंभ ।
एक्स = विदेशी खिताब root_id उत्पन्न करते हैं, आईडी;
-
दूसरे स्तंभ पर समतल करें।
y = foreach एक्स उत्पन्न root_id, FLATTEN (आईडी) के रूप में (idtype: chararray, idvalue: chararray);
यह आपको परिणाम देगा निम्न स्वरूप में: रूट_आईडी आईडीटाइप आयडेल्यूईईएक्स 1 एक्स एफयू
1 वाई बार
2 x फ़ज़ी
2 y buzz
3 एक्स म्यू
आवश्यक परिणाम प्राप्त करने के लिए पहला और तीसरा स्तंभ प्रोजेक्ट।
Comments
Post a Comment