如何在Hive中展开含空数组列的表并避免笛卡尔积？

原始表结构及数据 #

期望输出 #

解决方案 #

直接使用多个LATERAL VIEW EXPLODE会触发笛卡尔积，因为每个数组的展开元素会两两组合。正确做法是用posexplode获取元素的位置索引，再根据索引匹配其他数组对应位置的元素，同时处理class数组为空或长度不足的场景：

方法一：通过索引关联多数组展开 #

SELECT 
    key,
    arrival_arr AS arrival,
    carrier_arr AS carrier,
    CASE 
        WHEN size(class) = 0 THEN null
        WHEN pos >= size(class) THEN class[size(class)-1]
        ELSE class[pos]
    END AS class,
    departure_arr AS departure
FROM 
    your_table_name
LATERAL VIEW posexplode(arrival) exploded_arrival AS pos, arrival_arr
LATERAL VIEW posexplode(carrier) exploded_carrier AS pos_c, carrier_arr
LATERAL VIEW posexplode(departure) exploded_departure AS pos_d, departure_arr
WHERE pos = pos_c AND pos = pos_d;

方法二：单次展开+索引直接访问（更高效） #

SELECT 
    key,
    arrival[pos] AS arrival,
    carrier[pos] AS carrier,
    CASE 
        WHEN size(class) = 0 THEN null
        WHEN pos >= size(class) THEN class[size(class)-1]
        ELSE class[pos]
    END AS class,
    departure[pos] AS departure
FROM 
    your_table_name
LATERAL VIEW posexplode(arrival) exploded AS pos, dummy
WHERE pos < size(carrier) AND pos < size(departure);

关键说明 #

• posexplode会同时返回数组元素的位置索引和对应值，从根源避免多数组展开的笛卡尔积问题。
• 针对class数组为空的情况直接返回null；当class数组长度短于其他数组时，取其最后一个元素（匹配示例中第三行数据的处理逻辑）。
• 第二种方法仅做一次数组展开，通过索引直接访问其他数组元素，性能更优。

内容的提问来源于stack exchange，提问作者saurabh chauhan