执行explode拆分数组列时能否不为其他列所有行填充原值以降低内存消耗

核心思路：放弃原生无下标explode，改用带位置下标的拆分函数，仅第一行保留大字段原值，其余行填充null，全程无额外关联开销，完美适配流处理场景。 #

实现逻辑 #

• 使用posexplode（Spark）或UNNEST WITH ORDINALITY（Flink）拆分数组列，同时得到拆分元素的下标位置pos和元素值
• 对大字段body做条件赋值：仅当pos = 0时保留原始值，其余位置填充null
• 后续完成关联 enrichment 后，按ID分组聚合，用max(body)即可取到唯一非空的原始body值，再拼接处理后的数组元素即可得到最终结果

如果你已经实现了后续的关联、合并逻辑，仅需修改拆分阶段的body列取值逻辑，合并时对body列取任意非空值即可保留原值，无需调整原有流程。

常用流处理引擎代码示例 #

Spark SQL 实现 #

拆分阶段代码：

SELECT 
  CASE WHEN pos = 0 THEN body ELSE null END AS body,
  ID,
  entry AS array_column
FROM source_table
LATERAL VIEW posexplode(split(array_column, ',')) exploded AS pos, entry

Flink SQL 实现（Flink 1.11+ 支持） #

拆分阶段代码：

SELECT 
  CASE WHEN pos = 0 THEN body ELSE null END AS body,
  ID,
  entry AS array_column
FROM source_table,
UNNEST(split(array_column, ',')) WITH ORDINALITY AS t(entry, pos)

方案优势 #

• 全程无额外关联、回表操作，完全适配流处理有状态计算逻辑
• 大字段body仅保留1份非空值，内存占用直接降低为原来的1/N（N为数组平均长度），彻底解决大字段重复存储导致的内存不足问题

内容的提问来源于stack exchange，提问作者Kyle Murray