Spark通过IAM角色读取S3文件遇MultiObjectDeleteException类缺失错误

这个错误的核心原因是AWS SDK类路径中缺失了com.amazonaws.services.s3.model.MultiObjectDeleteException类，通常和依赖包版本不兼容、依赖不全或者类加载配置有关。结合你的环境（Spark 2.4.4 + Hadoop 3.2.1），我给出以下针对性解决方案：

1. 确保Hadoop与AWS SDK版本严格兼容 #

Hadoop 3.2.1官方适配的AWS SDK版本是1.11.563（可通过Hadoop官方pom.xml确认），你当前使用的aws-java-sdk-1.11.655.jar虽然同属1.11.x系列，但版本差异可能导致类结构变化或缺失。建议替换为Hadoop官方推荐的版本，避免兼容性问题。

2. 补充完整的AWS SDK依赖模块 #

从AWS SDK 1.11.x开始，SDK拆分为多个模块化jar包，仅单一的aws-java-sdk.jar可能不足以覆盖所有S3和STS（AssumeRole需要）相关类。你需要确保以下jar包都存在于Spark的类路径中：

• aws-java-sdk-core-1.11.563.jar
• aws-java-sdk-s3-1.11.563.jar
• aws-java-sdk-sts-1.11.563.jar
• hadoop-aws-3.2.1.jar（你已具备）

注意：如果不想手动管理模块，可以直接使用aws-java-sdk-bundle-1.11.563.jar，这个包包含了所有AWS SDK模块，避免依赖缺失。

3. 正确配置Spark类路径 #

确保上述jar包放置在Spark安装目录的jars文件夹下，或者在提交Spark应用时通过--jars参数明确指定：

spark-submit --jars hadoop-aws-3.2.1.jar,aws-java-sdk-bundle-1.11.563.jar your_app.jar

4. 优化S3A配置（可选但推荐） #

除了你已设置的配置，建议补充以下配置项，确保AssumeRole流程正常：

sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
sc.hadoopConfiguration.set("fs.s3a.sts.region", "your-region") // 替换为你的S3桶所在区域

5. 验证IAM角色的信任策略与权限范围 #

虽然当前错误是类缺失，但后续AssumeRole成功后需要确保：

• 角色的信任策略允许你的执行实体（比如EC2实例、本地机器的IAM用户）扮演该角色，示例信任策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::[ACCOUNT-ID]:user/your-user" // 或EC2实例角色等
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

• 现有IAM策略中，s3:*仅针对桶本身，若需要访问桶内对象，资源应补充arn:aws:s3:::test_bucket/*，避免后续出现权限不足问题。

最后验证步骤 #

替换依赖包并调整配置后，重新运行你的代码：

sc.hadoopConfiguration.set("fs.s3a.credentialsType", "AssumeRole")
sc.hadoopConfiguration.set("fs.s3a.assumed.role.arn", "arn:aws:iam::[ROLE]")
val myRDD = sc.textFile("s3a://test_bucket/names.csv")
myRDD.count()

内容的提问来源于stack exchange，提问作者peterlandis