Spark写入S3时持续抛出AccessDeniedException问题求助

嘿，我来帮你梳理下这个S3访问被拒绝的问题，库版本不匹配确实是常见诱因之一，咱们一步步拆解排查方向：

一、先确认库版本兼容性（你怀疑的点确实很关键） #

Spark和Hadoop的S3A客户端绑定得很深，版本不兼容大概率会触发鉴权类异常：

• 首先核对hadoop-aws与Spark自带的Hadoop版本是否匹配：比如Spark 3.3.x对应Hadoop 3.3.x，Spark 3.2.x对应Hadoop 3.2.x。如果你的项目手动引入了hadoop-aws包，版本和Spark内置的Hadoop版本不一致，很容易出现鉴权逻辑冲突。
• 其次注意AWS SDK版本：Spark的hadoop-aws依赖特定版本的aws-java-sdk-bundle，如果你的项目单独引入了其他版本的AWS SDK包，会导致类加载冲突，进而引发权限验证失败。

二、其他常见排查点 #

除了版本，还有几个高频踩坑点也得检查：

• 密钥配置是否真正生效：
  你同时用了DefaultAWSCredentialsProviderChain和SparkConf设置密钥，这里要注意优先级：Spark的S3A客户端会优先读取SparkConf里的spark.hadoop.fs.s3a.access.key和spark.hadoop.fs.s3a.secret.key。先确认代码里有没有完整设置这两个参数（你贴的代码里cr...看起来没写完），可以打印配置值验证是否正确。另外，环境变量AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY或者~/.aws/credentials文件里的配置会覆盖SparkConf的设置，也要排查这些地方。
• S3桶的权限是否到位：
  确保你的IAM用户/角色拥有s3:PutObject、s3:GetObject、s3:ListBucket这些必要权限，同时检查桶的访问策略有没有拒绝该用户的请求。可以先用AWS CLI测试：aws s3 cp /path/to/local/file s3://your-bucket/test-path/，如果CLI能成功，说明权限没问题，问题出在Spark的配置上。
• S3客户端的额外配置：
  如果是使用特定区域的S3桶或者兼容S3的存储服务，需要设置端点：conf.set("spark.hadoop.fs.s3a.endpoint", "s3.<region>.amazonaws.com")；部分旧桶需要开启路径样式访问：conf.set("spark.hadoop.fs.s3a.path.style.access", "true")。
• 拼写错误要警惕：
  比如把s3a写成s3（旧的s3协议客户端已经被废弃），或者密钥参数名拼写错误（比如把secret.key写成secret.access.key），这类小问题也会导致鉴权失败。

快速验证步骤 #

1. 先注释掉DefaultAWSCredentialsProviderChain相关代码，只保留SparkConf里的密钥配置，测试是否能正常访问。
2. 核对项目依赖中hadoop-aws和Spark版本的兼容性，比如在pom.xml（Maven）或者build.gradle（Gradle）里锁定匹配的版本。
3. 用AWS CLI确认权限正常，排除IAM或桶策略的问题。

内容的提问来源于stack exchange，提问作者Sanjeev Dhiman