升级PySpark至3.4.0后Hudi抛出Spark2Adapter类找不到异常

错误根源 #

你遇到的py4j.protocol.Py4JJavaError本质是ClassNotFoundException: org.apache.spark.sql.adapter.Spark2Adapter，核心原因是当前使用的Hudi包（org.apache.hudi:hudi-spark3.3-bundle_2.12:0.13.1）与升级后的Spark 3.4.x版本不兼容。

Hudi的Spark绑定包严格匹配Spark大版本：Spark 3.4.x对SQL模块的适配器逻辑做了重构，移除了Spark2Adapter这类旧适配类；而Hudi 0.13.1的Spark3.3 bundle基于Spark 3.3.x的适配逻辑开发，运行时会尝试加载已不存在的类，从而抛出异常。

关于你的疑问 #

• 是否需要等待HUDI-6198解决：是的。HUDI-6198是Hudi社区为适配Spark 3.4.x启动的任务，负责调整Spark适配器、修复API差异等兼容性工作，该任务完成后Hudi才会正式支持Spark 3.4.x。
• 是否暂无Spark3.4.x对应的Hudi包：截至Hudi 0.13.1版本，官方确实没有发布针对Spark 3.4.x的正式bundle包，需要等待包含HUDI-6198修复的版本（如计划中的Hudi 0.14.0）。

临时应对方案 #

1. 回退Spark版本：如果业务允许，暂时降级回Spark 3.3.2，配合当前的Hudi 0.13.1 Spark3.3 bundle使用，可快速恢复正常。
2. 尝试快照构建包：若无法回退Spark版本，可尝试使用Hudi社区针对Spark 3.4适配的快照构建版本，但这类版本未经过正式发布验证，生产环境需谨慎使用。

内容的提问来源于stack exchange，提问作者lollerskates