Spark中合并字段存在差异的两个结构体数组列的方法

array_union 要求两个入参数组的元素数据类型完全一致。你的场景中B列数组元素是包含key/x/y/z四个字段的struct，C列数组元素是仅包含key/x/y三个字段的struct，类型不匹配是函数报错的直接原因。解决核心是先将两个数组的元素struct结构对齐，再执行合并操作，根据你是否需要保留z字段，有两种成熟方案可选。

将B列数组中每个元素的多余z字段剔除，让B的元素结构和C完全一致后再合并。

Spark SQL 实现 #

SELECT
  A,
  array_union(
    transform(B, elem -> named_struct('key', elem.key, 'x', elem.x, 'y', elem.y)),
    C
  ) AS merged_array
FROM your_table_name

PySpark 实现 #

from pyspark.sql import functions as F

result_df = df.withColumn(
    "B_aligned",
    F.expr("transform(B, elem -> named_struct('key', elem.key, 'x', elem.x, 'y', elem.y))")
).withColumn(
    "merged_array",
    F.array_union(F.col("B_aligned"), F.col("C"))
).drop("B_aligned")

这个方案没有额外的空值补全逻辑，执行性能最优，不需要z字段时优先选择。

给C列数组的每个元素补一个值为null的double类型z字段，让C的元素结构和B完全一致后再合并。合并后原B列元素的z值保留，原C列元素的z值默认为null。

Spark SQL 实现 #

SELECT
  A,
  array_union(
    B,
    transform(C, elem -> named_struct('key', elem.key, 'x', elem.x, 'y', elem.y, 'z', cast(null AS double)))
  ) AS merged_array
FROM your_table_name

PySpark 实现 #

from pyspark.sql import functions as F

result_df = df.withColumn(
    "C_aligned",
    F.expr("transform(C, elem -> named_struct('key', elem.key, 'x', elem.x, 'y', elem.y, 'z', cast(null AS double)))")
).withColumn(
    "merged_array",
    F.array_union(F.col("B"), F.col("C_aligned"))
).drop("C_aligned")

• 对齐struct结构时，字段的顺序、名称、类型必须和目标结构完全一致，Spark对struct的类型校验是严格按三者匹配判断的，任意一项不一致都会报类型错误。
• 如果不需要对合并结果去重，可以直接将array_union替换为concat函数，类型对齐逻辑完全不变，仅跳过合并后的去重步骤，性能会更好。
• 不要直接对数组列执行drop字段操作，必须用transform函数遍历数组内的每个元素修改struct结构，直接操作数组列本身不会改变内部元素的结构。

内容的提问来源于stack exchange，提问作者Amar Malik