Hive按用户分组聚合同属性数值生成MAP/JSON字段的实现方法

这个需求不需要自定义UDF，靠Hive原生函数就能完成，核心逻辑是两层递进聚合，刚好补上你之前参考方案缺少的“先对同属性value求和”的步骤：

1. 第一层：按user + attribute双维度分组，对组内的value做求和，得到每个用户下单个属性的聚合总值
2. 第二层：在第一层的结果基础上，仅按user分组，把attribute作为键、对应的属性总值作为值，拼接成MAP结构或JSON字符串即可

方案1：输出MAP类型列 #

直接用Hive内置的map()聚合函数，搭配collect_list收集同组下的键、值数组——因为两次收集的数据源是同一行的(attribute, attr_total)，键和值的顺序天然对齐，不会出现键值匹配错位的问题。

SELECT
  user,
  MAP(
    COLLECT_LIST(attribute),
    COLLECT_LIST(attr_total)
  ) AS sum_values_by_attribute
FROM (
  -- 子查询完成第一层：计算每个用户下单属性的value总和
  SELECT
    user,
    attribute,
    SUM(value) AS attr_total
  FROM your_business_table
  GROUP BY user, attribute
) base
GROUP BY user;

方案2：输出JSON格式列 #

如果是Hive 2.3.0及以上版本，直接用内置的to_json()函数，把上面拼好的MAP结构序列化成JSON字符串就行，输出格式和你给出的目标结构完全一致。低版本Hive也可以通过手动拼接字符串的方式生成JSON，核心聚合逻辑和MAP方案没有区别。

SELECT
  user,
  TO_JSON(
    MAP(
      COLLECT_LIST(attribute),
      COLLECT_LIST(attr_total)
    )
  ) AS sum_values_by_attribute
FROM (
  SELECT
    user,
    attribute,
    SUM(value) AS attr_total
  FROM your_business_table
  GROUP BY user, attribute
) base
GROUP BY user;

注意点 #

• 不需要在聚合前对(user, attribute)的组合做去重，第一层的SUM()本身就会累加同组下的所有value，和需求逻辑完全匹配
• 如果需要固定最终输出里键的排序，可以在第一层的子查询中按attribute字段排序，保证collect_list收集到的键值对是有序的，不会出现随机排列的情况

内容的提问来源于stack exchange，提问作者foglerit