使用Spark/Hadoop访问s3a时出现403错误求助

问题背景 #

环境基于AWS EKS，通过K8s代理容器在Docker中部署了Hadoop 2.7.4与Spark 2.2.1，用于运行Jenkins任务。已创建K8s ServiceAccount并关联具备S3访问权限的AWS IAM角色，且当前能从S3复制文件，但执行spark-submit时出现如下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o40.exists.
 com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 403, AWS Service: Amazon S3, AWS Request ID: xxxxxxxxx, AWS Error Code: null, AWS Error Message: Forbidden, S3 Extended Request ID: xxxxxxxxxxxxxxx/xxxxxxxx

排查与解决方案 #

1. 确认Spark/Hadoop的S3客户端配置 #

Spark 2.2.1与Hadoop 2.7.4默认使用s3a协议访问S3，需确保配置正确的凭证提供者：

• 在spark-submit中添加如下参数，强制使用IAM实例元数据凭证（避免本地凭证冲突）：

  spark-submit \
    --conf spark.hadoop.fs.s3a.aws.credentials.provider=com.amazonaws.auth.InstanceProfileCredentialsProvider \
    --conf spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem \
    # 其他任务参数
  

• 检查Hadoop的core-site.xml中是否存在冲突的S3配置，比如错误的凭证设置。

2. 验证ServiceAccount与IAM角色绑定是否生效 #

虽然能复制文件，但需确认Spark容器实际使用的是目标ServiceAccount：

• 进入Spark运行容器，执行以下命令查看当前获取的IAM角色：

  curl http://169.254.169.254/latest/meta-data/iam/security-credentials/
  

  返回的角色名需与ServiceAccount关联的IAM角色一致。
• 检查ServiceAccount的eks.amazonaws.com/role-arn注解是否正确，且IAM角色的信任策略已允许EKS的OIDC身份提供商访问（信任策略需包含EKS集群的OIDC audience）。

3. 检查S3权限完整性 #

确认IAM角色的权限覆盖Spark任务所需的所有S3操作：

• 确保权限包含s3:GetObject、s3:ListBucket（若任务需要遍历桶）、s3:PutObject（若涉及写入S3），而不仅仅是复制文件的权限。
• 检查S3桶的桶策略是否存在拒绝规则，比如IP限制、VPC端点限制；若使用VPC端点，需确认端点策略允许该IAM角色访问。

4. 排查凭证冲突 #

容器内的本地凭证会优先于IAM角色凭证，导致权限错误：

• 检查容器内是否存在~/.aws/credentials文件或AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY环境变量，若存在需删除或清空。
• 若Jenkins任务传递了AWS凭证环境变量，需确保这些变量被禁用，避免覆盖IAM角色凭证。

5. 验证代码中的S3路径与逻辑 #

• 确认代码中使用的S3路径为s3a://bucket/path格式，而非s3://或s3n://（旧协议可能存在权限兼容问题）。
• 检查代码中是否有手动设置AWS凭证的逻辑，若有需移除，确保使用IAM角色凭证。

内容的提问来源于stack exchange，提问作者Pravin