PySpark Hudi使用PartialUpdateAvroPayload部分更新失败问题排查

• S3存储中有两张表：
  • tableA：字段为id、col1、col2、col3
  • tableB：字段为id、col4、col5
• 需求是将数据写入另一S3路径，生成Hudi格式的tableC，包含id、col1、col2、col3、col4、col5所有字段
• 采用org.apache.hudi.common.model.PartialUpdateAvroPayload实现部分更新（实时增量场景下不一定有匹配记录，因此不想关联DataFrame）
• 首次运行：给tableA的DataFrame添加col4、col5空值后写入，成功创建tableC初始表
• 第二次运行：移除添加空值的代码，仅用tableA的DataFrame执行Upsert部分更新时触发错误：

  Caused by: java.lang.NullPointerException: null of string in field col4 of hoodie.hudiTableAplusB.hudiTableAplusB_record

• 异常现象：仅用tableB的DataFrame执行部分更新时正常，仅更新tableA时失败
• 依赖环境：
  • Hudi Jar: hudi-spark3.3-bundle_2.12-0.14.0.jar
  • Spark Avro: spark-avro_2.13-3.3.0.jar

1. Schema校验与PartialUpdate逻辑冲突：
   首次写入后，tableC的Schema已包含col4、col5字段。使用PartialUpdateAvroPayload时，Hudi会基于目标表Schema校验传入的DataFrame字段。更新tableA时，传入的DataFrame没有col4、col5，Hudi合并新旧记录时会尝试从新记录读取这两个字段的值，因新记录完全不存在这些字段，触发Avro序列化空指针异常。
2. 依赖版本不匹配：
   Hudi包的Scala版本为2.12，但Spark Avro包是2.13，跨版本依赖可能引发隐性序列化问题，加剧异常出现。
3. tableB更新正常的原因：
   更新tableB时，传入的DataFrame包含col4、col5，即使缺失col1-col3，Hudi的PartialUpdate逻辑会直接保留旧记录中的这些字段值，无需从新记录读取，因此不会触发空值校验。

方案1：更新时为缺失字段填充空值 #

处理tableA的DataFrame时，主动添加目标表中缺失的col4、col5字段并设置为空值，确保传入的DataFrame字段与tableC的Schema完全匹配：

import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.functions.lit

// 读取tableA数据
val tableADf = spark.read.parquet("s3://path/to/tableA")
// 为缺失字段添加空值（根据实际字段类型调整cast的类型）
val tableACompleteDf = tableADf
  .withColumn("col4", lit(null).cast(StringType))
  .withColumn("col5", lit(null).cast(StringType))

使用填充后的DataFrame执行Upsert，Hudi合并时能读取到所有字段的值（空值符合Schema要求），不会触发NPE。

方案2：配置Hudi允许缺失字段的部分更新 #

在Hudi写入配置中添加参数，让PartialUpdateAvroPayload忽略传入DataFrame的字段缺失，直接保留旧记录中的对应字段值：

import org.apache.hudi.config.HoodieWriteConfig

val writeConfig = HoodieWriteConfig.newBuilder()
  .withPath("s3://path/to/tableC")
  .withTableName("tableC")
  .withPayloadClassName("org.apache.hudi.common.model.PartialUpdateAvroPayload")
  // 开启允许部分更新时缺失字段的配置
  .set("hoodie.payload.partial.update.allow.missing.fields", "true")
  .build()

该配置从Hudi 0.13版本开始支持，能避免因字段缺失引发的空指针问题。

方案3：统一依赖版本 #

将Spark Avro的版本调整为与Hudi一致的Scala版本（2.12），替换为spark-avro_2.12-3.3.0.jar，消除跨版本依赖可能带来的序列化异常。

内容的提问来源于stack exchange，提问作者JanakaRao