Spark Streaming写入Hudi时出现HoodieException配置冲突求助

错误原因 #

该异常是因为目标Hudi表已存在，且现有表的核心配置与你当前代码指定的配置冲突：

• 现有表默认使用SimpleKeyGenerator，自动生成uuid作为RecordKey
• 你当前代码指定使用ComplexKeyGenerator，并设置offset,timestamp作为自定义RecordKey
  Hudi会严格校验表的核心元数据配置，一旦新旧配置不一致就会抛出冲突异常。

解决方案 #

方案1：重新创建表（适合测试环境/允许重置数据）

如果可以清空现有数据，这是最直接的解决方式：

• 删除Hudi表的存储路径（即代码中baseStreamingPath对应的HDFS/本地路径）
• 删除Spark Streaming的checkpoint路径（checkpointLocation）
• 重新运行代码，此时会创建符合你指定配置的新Hudi表。

方案2：匹配现有表配置（适合保留已有数据）

若需要保留现有表数据，必须让代码配置与现有表一致：

• 将hoodie.datasource.write.keygenerator.class改为org.apache.hudi.keygen.SimpleKeyGenerator
• 将RECORDKEY_FIELD对应的配置改为uuid

注意：Hudi不支持修改已存在表的RecordKey生成规则，若必须使用自定义RecordKey（offset,timestamp），只能选择方案1删除旧表重建。

额外检查点 #

检查getQuickstartWriteConfigs方法返回的配置集合，确认其中是否包含与你手动设置的keygenerator.class、recordkey.field冲突的项。如果有，需在手动配置中显式覆盖，或修改getQuickstartWriteConfigs移除冲突配置。

修正后代码示例（重建表场景） #

确保essDateTime字段存在于DataFrame中（预合并字段必须有效）：

df
.selectExpr("key", "topic", "partition", "offset", "timestamp", "timestampType", "CAST(key AS STRING)", "CAST(value AS STRING)", "essDateTime")
.writeStream
.format("hudi")
.options(getQuickstartWriteConfigs)
.option(PRECOMBINE_FIELD.key(), "essDateTime")
.option("hoodie.datasource.write.keygenerator.class","org.apache.hudi.keygen.ComplexKeyGenerator")
.option(RECORDKEY_FIELD.key(), "offset,timestamp")
.option(TBL_NAME.key, streamingTableName)
.option("path", baseStreamingPath)
.trigger(ProcessingTime(10000))
.outputMode("append")
.option("checkpointLocation", checkpointLocation)
.start()

内容的提问来源于stack exchange，提问作者Dastagiri Shaik