在Dataproc集群部署Apache Hudi遇问题，求解决指导

1. 初始类加载错误的根源与修复 #

你前期遇到的TypeError: 'JavaPackage' object is not callable和ClassNotFoundException: org.apache.spark.sql.hudi.HoodieSparkSessionExtension，核心原因是使用的hudi-spark3.1.x_2.12-0.11.1.jar不是bundle包，该jar仅包含Hudi核心代码，缺少依赖的辅助类（如QuickstartUtils、扩展类HoodieSparkSessionExtension）。

你后续更换为hudi-spark3.1-bundle_2.12-0.12.1.jar的操作是正确的，bundle包内置了所有运行依赖类，解决了基础类加载问题。

2. HUDI_CONF_DIR警告的处理 #

Cannot find HUDI_CONF_DIR属于非阻塞警告，不影响Hudi核心功能。若要消除该警告：

• 在Dataproc集群所有节点上创建目录/etc/hudi/conf，从Hudi官方发布包中提取hudi-defaults.conf文件放入该目录；
• 启动pyspark时添加环境变量配置：

  pyspark --jars gs://dev-dama-stg-spark/artifacts/hudi-spark3.1-bundle_2.12-0.12.1.jar,gs://dev-dama-stg-spark/artifacts/spark-avro_2.12-3.1.3.jar \
  --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
  --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' \
  --conf 'spark.executorEnv.HUDI_CONF_DIR=/etc/hudi/conf' \
  --conf 'spark.driverEnv.HUDI_CONF_DIR=/etc/hudi/conf'
  

3. FileNotFoundException的修复 #

java.io.FileNotFoundException: File file:/tmp/hudi_trips_cow does not exist错误是因为代码中指定了本地文件系统路径，而Dataproc分布式执行时，Worker节点无法访问Driver节点的本地目录，且Worker节点本地未创建该路径。

解决方法：

• 推荐方案：将表存储路径改为GCS或HDFS分布式存储路径，比如gs://your-bucket/path/to/hudi_trips_cow，Dataproc集群默认支持GCS路径，所有节点均可访问；
• 若坚持使用本地路径：需在集群所有Worker节点上提前执行mkdir -p /tmp/hudi_trips_cow，但这种方式仅适合测试场景，生产环境不推荐。

内容的提问来源于stack exchange，提问作者Cir02