Hadoop通过s3a上传文件到S3报NoSuchMethodError异常如何解决？

异常原因 #

• 核心根因为AWS Java SDK依赖版本冲突，最底层报错java.lang.NoSuchMethodError: com.amazonaws.util.IOUtils.release(Ljava/io/Closeable;Lorg/apache/commons/logging/Log;)V是典型的运行时类方法缺失问题：IOUtils的双参数release方法是AWS Java SDK 1.11.x之后的高版本新增接口，你的应用运行时实际加载的IOUtils类来自更低版本的SDK包，缺少对应方法，因此调用时直接抛出异常。
• 冲突来源：你使用的hadoop-aws（s3a协议实现库）依赖的AWS SDK版本，和应用自身引入的其他AWS SDK组件（如aws-java-sdk-s3、aws-java-sdk-core）版本不一致，类加载器优先加载了低版本的IOUtils类，高版本代码调用该不存在的方法时触发错误。
• 部分文件上传不完整的原因：小文件单分片上传时，该方法调用发生在上传完成后的资源释放阶段，文件数据实际已传到S3，但资源清理失败导致任务标记为异常；大文件分片上传时如果中途触发该错误，就会出现只有部分分片上传成功的不完整文件。

解决方案 #

• 统一所有AWS Java SDK相关依赖的版本
  1. 首先确认你使用的hadoop-aws版本对应的兼容AWS SDK版本，例如hadoop-aws 3.3.1对应aws-java-sdk版本为1.11.901，必须保证所有aws-java-sdk-*开头的依赖版本完全和该匹配，禁止跨版本混用。
  2. 如果你使用Maven管理依赖，可在pom.xml的<dependencyManagement>节点强制锁定所有AWS SDK组件版本，排除hadoop-aws传递引入的不一致版本，示例配置如下：

<dependencyManagement>
  <dependencies>
    <!-- 统一锁定AWS SDK全组件版本，版本号替换为和你使用的hadoop-aws兼容的版本 -->
    <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>aws-java-sdk-bom</artifactId>
      <version>1.11.901</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>

3. 如果你使用Gradle管理依赖，可通过resolutionStrategy强制所有AWS SDK组件使用统一版本。

• 排查容器镜像的依赖冲突：检查你构建的应用镜像中是否存在额外的AWS SDK jar包，包括K8s节点挂载的公共依赖包、镜像内置的第三方工具自带的AWS SDK，避免应用外部的低版本SDK被加载到classpath。
• 临时规避方案：如果暂时无法调整依赖配置，可在s3a的配置项中添加fs.s3a.fast.upload = false关闭快速上传逻辑，降低版本冲突的触发概率，但该方案仅为临时规避，无法根本解决问题。

内容的提问来源于stack exchange，提问作者Ritwik