Hive中分组实现数组并行相加的非UDF方案咨询

没问题，咱们完全可以用Hive原生语法实现这个数组并行相加的需求，不用自定义UDF。我把实现步骤拆解清楚，你可以直接套用：

实现思路 #

核心是先把每个val拆分成带位置索引的元素，补全短数组的缺失位置（补0），然后按id和位置分组求和，最后再拼接回目标格式。

完整Hive SQL代码 #

WITH processed_data AS (
    SELECT 
        id,
        -- 去除val前后的{}，再按|分割成数组
        split(regexp_replace(val, '^\\{|\\}$', ''), '\\|') AS val_array,
        -- 计算当前数组的长度
        size(split(regexp_replace(val, '^\\{|\\}$', ''), '\\|')) AS array_len
    FROM your_table_name -- 替换成你的表名
),
-- 找出每个id对应的最长数组长度，用于补全短数组
max_length AS (
    SELECT 
        id,
        MAX(array_len) AS max_array_len
    FROM processed_data
    GROUP BY id
),
-- 生成每个位置的索引，同时补全短数组的缺失值为0
positional_elements AS (
    SELECT 
        pd.id,
        pos.pos_idx,
        -- 若当前位置在数组范围内则取对应值转int，否则补0
        CASE 
            WHEN pos.pos_idx < pd.array_len THEN CAST(pd.val_array[pos.pos_idx] AS INT)
            ELSE 0
        END AS val_int
    FROM processed_data pd
    JOIN max_length ml ON pd.id = ml.id
    -- 生成从0到max_array_len-1的所有位置索引
    LATERAL VIEW posexplode(array_fill(0, array(ml.max_array_len))) pos AS pos_idx, dummy
),
-- 按id和位置索引分组求和
summed_positions AS (
    SELECT 
        id,
        pos_idx,
        SUM(val_int) AS sum_val
    FROM positional_elements
    GROUP BY id, pos_idx
    ORDER BY id, pos_idx -- 保证位置顺序正确
)
-- 拼接成目标格式的字符串
SELECT 
    id,
    CONCAT('{', concat_ws('|', collect_list(CAST(sum_val AS STRING))), '}') AS val
FROM summed_positions
GROUP BY id;

关键步骤解释 #

1. processed_data：先清洗val字段，去掉首尾的{}，分割成数组，同时记录每个数组的长度。
2. max_length：统计每个id下最长的数组长度，这样短数组后面的位置可以补0，确保所有位置都有数值参与求和。
3. positional_elements：用array_fill生成对应长度的全0数组，再通过posexplode拆解出每个位置索引；然后根据索引匹配原数组的元素，超出长度的位置补0。
4. summed_positions：按id和位置分组求和，得到每个位置的累加结果，同时按位置排序保证后续拼接顺序正确。
5. 最终拼接：用collect_list按顺序收集求和结果，转成字符串后用|连接，再包裹{}得到目标格式。

兼容低版本Hive的小调整 #

如果你的Hive版本不支持array_fill，可以用split(space(ml.max_array_len - 1), ' ')替代，生成对应长度的空字符串数组，再posexplode即可：

-- 替换positional_elements里的posexplode部分
LATERAL VIEW posexplode(split(space(ml.max_array_len - 1), ' ')) pos AS pos_idx, dummy

内容的提问来源于stack exchange，提问作者Pooja Nayak