Pig中拆分多值字段，实现按位置-产品维度统计用户数

嗨，这个需求在Pig里其实用FLATTEN就能轻松搞定，刚好匹配你要拆分嵌套Bag字段的场景！我之前处理过类似的多值字段拆分需求，下面一步步给你讲实现方法：

1. 核心思路：用FLATTEN展开嵌套Bag #

你的输入数据结构是(Location, {(product1), (product2), (product3)}, numOfUsers)，其中第二个字段是存储多个产品的Bag。FLATTEN的作用就是把Bag中的每个元素（这里是单个产品的Tuple）拆分成独立的行，同时保留原记录的其他字段（Location、numOfUsers）。

2. 具体Pig Latin代码实现 #

步骤1：加载原始数据（你已完成这一步，这里补全示例） #

假设你的加载语句是这样的（可根据实际存储格式调整USING的加载器）：

raw_data = LOAD 'your_input_file_path' 
           USING PigStorage(',') 
           AS (location:chararray, products:bag{t:tuple(product:chararray)}, numOfUsers:int);

步骤2：拆分多值产品字段 #

用FOREACH结合FLATTEN展开Bag，直接得到你想要的单产品记录格式：

flattened_data = FOREACH raw_data 
                 GENERATE location, 
                          FLATTEN(products) AS product, 
                          numOfUsers;

这时候flattened_data的每条记录就是：(location, product, numOfUsers)，完全符合你要的(location, (product1), numOfUsers)、(location, (product2), numOfUsers)这类结构。

步骤3：按位置+产品维度统计用户数（可选，若需要聚合） #

如果原始数据中同一个location+product组合可能有多条记录，需要聚合用户数的话，可以继续做分组求和：

-- 按location和product组合分组
grouped_data = GROUP flattened_data BY (location, product);

-- 统计每组的总用户数
final_result = FOREACH grouped_data 
               GENERATE group.location AS location, 
                        group.product AS product, 
                        SUM(flattened_data.numOfUsers) AS total_users;

3. 验证结果 #

你可以用DUMP flattened_data;查看拆分后的中间结果，确认每个产品都被拆成了独立的记录；用DUMP final_result;查看最终的统计结果。

内容的提问来源于stack exchange，提问作者StormsEdge