如何合并Avro schema联合类型的多数据类型，避免输出member0、member1字段

Spark 默认解析 Avro 联合类型（union）时，会将其映射为包含member0、member1...的结构体，每个字段对应 union 定义顺序的一种类型，只有实际匹配的类型字段有值，其余为 null，因此你会看到{member0: -64, member1: null}的结构。

下面是三种可行的实现方式，按需选择即可：

方法1：固定成员数量场景直接用内置函数合并（性能最优） #

如果你的 union 类型成员数量固定（此处是int+string共2个），直接用coalesce取第一个非空值即可，无需自定义函数：

// Scala 示例
import org.apache.spark.sql.functions.{coalesce, transform_values}

val resultDF = streamDF.withColumn("data", 
  transform_values($"data", (_, unionStruct) => 
    coalesce(unionStruct.getField("member0"), unionStruct.getField("member1"))
  )
)

# PySpark 示例
from pyspark.sql.functions import coalesce, transform_values

result_df = stream_df.withColumn("data",
  transform_values("data", lambda _, union_struct: 
    coalesce(union_struct.member0, union_struct.member1)
  )
)

方法2：配置Avro读取参数自动解析（Spark 3.0+适用） #

读取Avro流时添加avro.union.representation参数为dynamic，Spark会自动将union类型解析为实际的有效值，无需额外转换：

val streamDF = spark.readStream
  .format("avro")
  .option("avro.union.representation", "dynamic")
  .option("kafka.bootstrap.servers", "你的Kafka集群地址")
  .option("subscribe", "对应Topic名称")
  .load()

注意：该配置仅适用于简单类型组成的union，复杂嵌套union可能存在兼容性问题，你当前int+string的场景完全适用。

方法3：自定义UDF适配任意数量union成员 #

如果union成员数量不固定，或者后续可能调整类型，可以自定义UDF通用提取非空值：

// Scala UDF 示例
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.Row

val extractUnionVal = udf[Any, Row](row => {
  if (row == null) null else row.toSeq.find(_ != null).orNull
})

// 调用UDF转换
val resultDF = streamDF.withColumn("data", transform_values($"data", (_, v) => extractUnionVal(v)))

# PySpark UDF 示例
from pyspark.sql.functions import udf

@udf
def extract_union_val(row):
    if not row:
        return None
    for field in row:
        if field is not None:
            return field

# 调用UDF转换
result_df = stream_df.withColumn("data", transform_values("data", lambda _, v: extract_union_val(v)))

内容的提问来源于stack exchange，提问作者Beluga