HIVE中实现UN-Pivot，咨询无需UNION ALL的方法

嘿，这个问题问得太关键了！面对大数据量的宽表转窄表需求，UNION ALL确实不是最优选择——多分支的UNION ALL会触发多次数据全表扫描，在数据量庞大时性能会大打折扣。好在Hive有专门的函数能完美解决这个问题，而且只需要扫描一次数据。

先明确下你的需求场景：

原始Hive表结构与数据：

id  channel pkg_1_sk pkg_1_nm pkg_1_prod_1_sk pkg_1_prod_1_nm pkg_1_prod_2_sk pkg_1_prod_2_nm pkg_2_sk pkg_2_nm pkg_2_prod_1_sk pkg_2_prod_1_nm pkg_2_prod_2_sk pkg_2_prod_2_nm
abc XYZ     1        Package-1 1               Prod-1           2               Prod-2           2        Package-2 3               Prod-3           2               Prod-2

期望转换后的窄表结果：

id  channel pkg_sk prod_sk
abc XYZ     1      1
abc XYZ     1      2
abc XYZ     2      3
abc XYZ     2      2

推荐方案：使用Hive内置的stack()函数 #

Hive的stack()是专门处理固定列数行转列的UDTF（表生成函数），搭配LATERAL VIEW使用，只需要扫描一次原始表就能完成转换，性能远优于UNION ALL。

实现代码：

SELECT 
    id,
    channel,
    pkg_sk,
    prod_sk
FROM 
    your_original_table  -- 替换成你的实际表名
LATERAL VIEW 
    stack(4,
          -- 每一组参数对应结果中的一行
          pkg_1_sk, pkg_1_prod_1_sk,
          pkg_1_sk, pkg_1_prod_2_sk,
          pkg_2_sk, pkg_2_prod_1_sk,
          pkg_2_sk, pkg_2_prod_2_sk
         ) AS pkg_sk, prod_sk;

关键细节解释：

• stack(n, col1, col2, col3, col4...)：第一个参数n是要展开的行数（这里是4行），后续参数按结果行的列数分组，每2个参数对应结果中的一行（pkg_sk和prod_sk）。
• LATERAL VIEW：用来关联原表行和stack()生成的新行，避免出现笛卡尔积问题，是Hive中使用UDTF的标准方式。

这个方案比UNION ALL好在哪？ #

• 性能碾压：UNION ALL会对原表执行多次全表扫描（每个UNION分支扫一次），而stack()只需要一次扫描，在TB级数据量下性能差距会非常显著。
• 代码更简洁：不用重复写多段几乎一样的SELECT语句，后续如果要新增更多pkg_n_prod_m列，只需要调整stack()的行数参数并补充对应列即可，维护成本极低。

内容的提问来源于stack exchange，提问作者Koushik Chandra