Spark SQL中不使用explode拼接Map数组所有元素值的方法

你现在逐一枚举数组长度写CASE WHEN的方式冗余度很高，完全不需要这么麻烦，用内置数组高阶函数就能单行实现需求，全程不需要explode炸裂数组，不会改变原有单行的结构，性能和可维护性都远好于枚举分支的写法。

最简实现 #

直接用下面的代码即可，输出完全匹配你期望的A11, A12, A13格式（逗号后带空格）：

array_join(transform(arr, item -> item.X), ', ')

原理说明 #

• transform是Spark SQL原生的数组高阶函数，在单行维度完成数组元素的遍历映射，不会产生行膨胀，完美适配你不能用explode的场景
• 遍历逻辑item -> item.X会逐个提取数组每个元素中键为X的值：如果数组元素是struct类型，点号取值可以直接生效；如果是map类型，也可以替换为item['X']，效果完全一致
• 提取完所有值之后直接用array_join按指定分隔符拼接成字符串即可，省去了你原有写法中map_concat合并多map、map_values取值的冗余步骤，执行开销更低
• 当输入arr为null时，表达式默认返回null，和你原有CASE WHEN的兜底逻辑一致

对齐原有长度限制的版本 #

如果你需要严格保留原逻辑中「数组长度超过6返回null」的规则，只需要加一层长度判断即可，依然不需要枚举所有长度分支：

CASE
  WHEN size(arr) <= 6 THEN array_join(transform(arr, item -> item.X), ', ')
  ELSE NULL
END

补充说明：你原来的代码里array_join用的分隔符是单个逗号,，拼接结果是A11,A12,A13，和你给出的期望输出A11, A12, A13相比少了逗号后的空格，上面的写法已经修正了这个细节，如果不需要空格直接把分隔符改成,即可。

内容的提问来源于stack exchange，提问作者avi