启用Hive同步的Apache Hudi增量写入失败求助

问题核心现象 #

对启用Hive同步的Hudi表执行增量写入时失败，触发两类关键错误；禁用Hive同步后写入正常，且底层存储已生成更新数据（PySpark可读取到新版本）。

错误详情 #

1. Hive元数据同步阶段报错 #

23/07/24 11:52:48 INFO org.apache.hudi.hive.HiveSyncTool: Schema difference found for table1
23/07/24 11:52:48 INFO org.apache.hudi.hive.ddl.HMSDDLExecutor: partition table,need cascade
Traceback (most recent call last):
 java.lang.NoSuchMethodError: org.apache.hadoop.hive.metastore.IMetaStoreClient.alter_table_with_environmentContext(Ljava/lang/String;Ljava/lang/String;Lorg/apache/hadoop/hive/metastore/api/Table;Lorg/apache/hadoop/hive/metastore/api/EnvironmentContext;)V

2. Jackson版本冲突报错 #

java.io.InvalidClassException: com.fasterxml.jackson.core.io.SerializedString; local class incompatible: stream classdesc serialVersionUID = 4312806453773505982, local class serialVersionUID = 1

3. IncrementalRelation过滤器日志（非错误） #

INFO org.apache.hudi.IncrementalRelation: Additional Filters to be applied to incremental source are :[Ljava.lang.String;@5ec488f6

环境与配置信息 #

版本依赖 #

• Spark: 2.4.8
• Scala: 2.12
• 核心依赖：org.apache.hudi:hudi-spark-bundle_2.12:0.10.1, org.apache.spark:spark-avro_2.12:2.4.8, com.fasterxml.jackson.core:jackson-core:2.6.7, com.fasterxml.jackson.core:jackson-databind:2.6.7.3

Hudi写入配置 #

"hoodie.table.name": "table1",
"hoodie.datasource.write.keygenerator.class": "org.apache.hudi.keygen.ComplexKeyGenerator",
"hoodie.datasource.write.recordkey.field": "col1,col2",
"hoodie.datasource.write.precombine.field": "col3",
"hoodie.datasource.write.partitionpath.field": "col4",
"hoodie.datasource.write.hive_style_partitioning": "true",
"hoodie.datasource.write.table.name": "table1",
"hoodie.upsert.shuffle.parallelism": 1,
"hoodie.insert.shuffle.parallelism": 1,
"hoodie.consistency.check.enabled": true,
"hoodie.index.type": "BLOOM",
"hoodie.index.bloom.num_entries": 60000,
"hoodie.index.bloom.fpp": 0.000000001,
"hoodie.cleaner.commits.retained": 2,
"hoodie.datasource.hive_sync.enable": "true",
"hoodie.datasource.hive_sync.mode": "hms",
"hoodie.datasource.hive_sync.metastore.uris": "metastore_uris",
"hoodie.datasource.hive_sync.database": "db",
"hoodie.datasource.hive_sync.table": "table1_cow",

已完成排查 #

• 确认Hive表与增量DataFrame列名、顺序完全一致，仅存在Hudi元数据列（commit_time/commit_seqno等）差异
• 禁用Hive同步后增量写入流程正常
• 底层存储已生成更新数据，PySpark可读取到最新版本记录
• 首次Jackson错误已通过显式引入2.6.7版本依赖临时解决，但重复执行仍触发冲突

解决方案 #

1. 修复Hive元数据客户端版本不兼容 #

NoSuchMethodError是因为Hudi 0.10.1自带的Hive metastore客户端版本与集群Hive版本不匹配，alter_table_with_environmentContext方法在旧版Hive中不存在：

• 检查集群Hive版本，确保Hudi依赖的Hive客户端版本与集群对齐
• 提交作业时排除Hudi bundle中冲突的Hive依赖，引入集群匹配的Hive客户端jar包：

  spark-submit \
    --packages org.apache.hudi:hudi-spark-bundle_2.12:0.10.1 \
    --exclude org.apache.hive:hive-metastore \
    --exclude org.apache.hive:hive-exec \
    --jars /path/to/cluster/hive-metastore-xxx.jar,/path/to/cluster/hive-exec-xxx.jar \
    your_job.py
  

• 若集群为Hive 2.3.x及以上，可直接使用对应版本的Hive同步bundle：org.apache.hudi:hudi-hive-sync-bundle_2.12:0.10.1

2. 彻底解决Jackson版本冲突 #

重复出现的InvalidClassException是因为Spark 2.4.8自带的Jackson 2.6.7与Hudi bundle中传递引入的高版本Jackson存在加载顺序冲突：

• 提交作业时强制优先加载用户指定的Jackson依赖：

  spark-submit \
    --conf spark.driver.userClassPathFirst=true \
    --conf spark.executor.userClassPathFirst=true \
    --packages org.apache.hudi:hudi-spark-bundle_2.12:0.10.1,com.fasterxml.jackson.core:jackson-core:2.6.7,com.fasterxml.jackson.core:jackson-databind:2.6.7.3 \
    your_job.py
  

• 若使用构建工具（如Maven/Gradle），在依赖配置中强制锁定Jackson版本为2.6.7，避免传递引入高版本

3. IncrementalRelation过滤器日志说明 #

[Ljava.lang.String;@5ec488f6是Java数组的默认toString输出，并非错误。这些过滤器是Hudi增量读取时自动添加的commit_time范围过滤规则，用于筛选指定提交之后的增量数据。若需查看具体内容，可将日志级别调整为DEBUG，或在代码中打印过滤器数组的具体值。

验证步骤 #

1. 应用版本对齐的依赖配置，执行增量写入，检查Hive同步是否成功
2. 验证Hive表的分区结构、数据内容与底层存储一致
3. 重复执行写入操作，确认无Jackson冲突错误

内容的提问来源于stack exchange，提问作者Yogesh Kumar