EMR集成Apache Hudi后无法对AWS Glue Catalog执行spark.sql查询报方法缺失错误

这是典型的第三方Fat Jar依赖冲突，和Glue元存储的连接配置没有关系。
你使用的/usr/lib/hudi/hudi-spark-bundle.jar是全量打包依赖的胖Jar，内置了高版本的Apache HttpComponents（httpclient、httpcore）组件；而EMR 5.28.0集群自带的AWS Glue Catalog客户端，依赖集群预装的低版本httpclient组件。
EMR默认会开启用户类路径优先加载机制，通过--jars参数加载Hudi胖Jar时，Hudi内置的httpclient类会优先于系统类路径的同类型类被加载。高版本中SSLConnectionSocketFactory类的构造方法签名发生了变更，找不到Glue客户端依赖的双参数构造方法，因此直接抛出NoSuchMethodError。

1. 冲突定位确认 #

可登录EMR主节点执行命令交叉验证：

• 查看Hudi胖Jar内置的httpclient组件：jar tf /usr/lib/hudi/hudi-spark-bundle.jar | grep "org/apache/http/conn/ssl/SSLConnectionSocketFactory.class"
• 查找集群预装的Glue Catalog客户端路径：find /usr -name "aws-glue-datacatalog-hive-client*.jar"
  确认两边包含的SSLConnectionSocketFactory类来自不同版本的httpclient组件。

2. 冲突处理方式 #

三选一即可解决问题：

• 调整类加载优先级：启动Spark/PySpark时补充配置，强制让系统类路径下的依赖优先于用户Jar加载，避免Hudi内置的httpclient类覆盖系统自带版本：

  pyspark \
  --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
  --conf "spark.sql.hive.convertMetastoreParquet=false" \
  --conf "spark.driver.userClassPathFirst=false" \
  --conf "spark.executor.userClassPathFirst=false" \
  --jars /usr/lib/hudi/hudi-spark-bundle.jar,/usr/lib/spark/external/lib/spark-avro.jar
  

• 替换为Hudi瘦Jar：优先使用Hudi分发包中不打包公共依赖的瘦包，替代全量打包的hudi-spark-bundle.jar，从根源上避免把冲突的httpclient、avro等组件带入类路径。
• 自定义裁剪Hudi胖Jar：解压hudi-spark-bundle.jar，删除包内内置的org/apache/http路径下的所有类，重新打包后使用，保留Hudi核心功能的同时剔除冲突依赖。

• 不要手动替换集群系统类路径下的httpclient版本，EMR自带的S3A文件系统、CloudWatch日志组件均和预装的httpclient版本深度绑定，贸然升级会引发更多连锁类冲突。
• 你之前在hive-site、spark-hive-site中配置的Glue元存储连接参数是完全正确的，不需要调整。
• 处理完冲突后，可先执行spark.sql("show tables").show()验证元存储连通性，再跑Hudi读写流程确认两边功能正常。

内容的提问来源于stack exchange，提问作者gabra