AWS Glue Hudi CDC作业DELETE时precombine字段NULL报错如何解决

Hudi对precombine字段的非空校验是写入全流程全局生效的，和操作类型（INSERT/UPDATE/DELETE）无关。
precombine字段的核心作用是做同主键记录的版本裁决：当待写入数据存在同主键重复、或者待写入数据和表内存量数据版本冲突时，Hudi会优先保留precombine字段值更大的记录。这个核心逻辑不会因为操作是DELETE就跳过校验。
你提到的「Hudi执行DELETE操作仅传输主键」是特定配置下的行为，默认配置下DELETE和UPSERT走完全一致的字段校验流程。你当前CDC链路产出的DELETE事件只携带了主键，其余字段（包括配置为precombine字段的last_modified_date）全为null，自然触发非空报错。

按改造成本从低到高可选以下方案：

• 方案1：开启空Payload删除模式（适配Hudi 0.10+版本）
  在你现有的Hudi配置中新增如下参数：

  options = {
      "hoodie_overrides": {
          "hoodie.datasource.write.recordkey.field": "id",
          "hoodie.datasource.write.precombine.field": "last_modified_date",
          "hoodie.datasource.hive_sync.partition_extractor_class": "org.apache.hudi.hive.NonPartitionedExtractor",
          "hoodie.datasource.write.keygenerator.class": "org.apache.hudi.keygen.NonpartitionedKeyGenerator",
          "hoodie.datasource.hive_sync.support_timestamp": "true",
          # 新增以下配置
          "hoodie.datasource.write.payload.class": "org.apache.hudi.common.model.EmptyHoodieRecordPayload",
          "hoodie.delete.shuffle.parallelism": "和作业现有写入并行度保持一致即可"
      }
  }
  

  开启该配置后，DELETE操作写入时仅保留主键和分区信息，不会校验其余字段非空，直接生成删除标记，相比默认删除逻辑写入性能更高。AWS Glue 3.0及以上版本内置Hudi版本满足要求，Glue 2.0及更早版本不要用该方案，会出现版本兼容问题。
• 方案2：写入前给DELETE事件补全precombine字段值（全版本兼容）
  在Glue作业中，读取CDC数据源后、写入Hudi前增加字段处理逻辑：当op字段标记为DELETE时，给last_modified_date字段赋值，取值优先选CDC事件自带的操作时间戳（保证时间语义准确），也可以直接取作业处理时的当前时间戳，只要保证值非空即可通过校验。
• 方案3：使用Hudi原生CDC解析配置（适配Hudi 0.12+版本）
  如果你是直接对接Debezium、AWS DMS等标准CDC格式数据源，由Hudi自动解析op字段区分操作类型，可以新增配置"hoodie.datasource.write.cdc.precombine.for.delete": "true"，开启后Hudi会自动给DELETE事件填充precombine字段为CDC事件自带的操作时间，无需手动写处理逻辑。

不要为了绕过校验将precombine字段设置为允许null，也不要随意替换precombine字段为非时间有序字段，否则会导致版本裁决逻辑错乱，出现旧数据覆盖新数据、删除操作不生效等问题。

内容的提问来源于stack exchange，提问作者J Weezy