Hadoop-common/hadoop-aws/aws-java-sdk-bundle版本兼容问题排查

版本组合验证 #

你当前使用的hadoop-common 3.3.6 + hadoop-aws 3.3.6 + aws-java-sdk-bundle 1.12.367版本组合是符合官方指定的匹配关系的，这部分没有问题。

可能的遗漏排查点 #

• Spark自带Hadoop依赖冲突：Spark 3.5.0默认绑定的Hadoop版本为3.3.4，若Worker节点上的Spark安装包未替换自带的Hadoop JAR，或者作业提交时未通过--conf spark.hadoop.classpath.user.precedence=true让用户指定的依赖优先级高于Spark自带依赖，会导致旧版本Hadoop类覆盖新版本，引发方法缺失错误。
• Worker节点多版本JAR冲突：检查Worker节点的HADOOP_HOME/lib、SPARK_HOME/jars目录，以及系统级别的类路径（如CLASSPATH环境变量），是否存在其他版本的hadoop-aws、aws-java-sdk-bundle或相关依赖JAR，这些冗余JAR会干扰类加载顺序。
• 作业打包/提交方式问题：
  • 若使用--jars提交作业，确保所有节点上的JAR版本一致，且未混入冲突版本；
  • 若打包为Fat Jar，需通过构建工具（如Maven/Gradle）排除Spark和Hadoop的自带依赖，避免打包时引入重复或低版本类。
• Spark S3配置缺失：确认作业中已正确设置spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem，部分情况下配置缺失会触发非预期的类加载路径，间接引发方法找不到的异常。
• Worker节点类加载配置：检查Spark的spark.driver.userClassPathFirst和spark.executor.userClassPathFirst配置，若未开启，Executor（Worker节点进程）可能优先加载Spark自带的旧版本依赖，而非用户指定的新版本。

内容的提问来源于stack exchange，提问作者Pavel