如何在Spark SQL中更高效地生成MAPTYPE字段？

核心思路 #

直接借助Spark SQL内置聚合函数的组合能力，省去多余中间转换步骤，一步完成从分散key-value对到目标MAP类型的聚合。

具体实现 #

假设你的原始数据集表名为json_data，包含存储键名的key_col和对应值的value_col，以下是聚合SQL语句：

SELECT 
  map_from_entries(
    collect_list(
      struct(key_col, collect_list(value_col))
    )
  ) AS aggregated_map
FROM json_data
GROUP BY key_col
-- 若需全局聚合（不分key分组），可移除GROUP BY语句

关键函数作用拆解 #

• collect_list(value_col)：将同一key对应的所有值收集为一个数组
• struct(key_col, ...)：把key和对应的value数组组合成结构体
• collect_list(struct(...))：收集所有key与对应数组的结构体对
• map_from_entries(...)：将结构体列表直接转换为MAP类型，结构体第一个字段作为map的key，第二个字段作为对应的value数组

适配嵌套JSON场景的处理 #

如果原始数据的键值是嵌套在字符串类型的JSON字段中，可先通过get_json_object提取key和value：

SELECT 
  get_json_object(json_str, '$.key') AS key_col,
  get_json_object(json_str, '$.value') AS value_col
FROM raw_json_table

若需要对value去重，只需将collect_list替换为collect_set即可。

内容的提问来源于stack exchange，提问作者Vaebhav