PySpark保存Delta表至AWS S3时遭遇403权限拒绝问题排查

从错误栈来看，核心问题是Spark尝试访问s3a://shay-test-bucket/_delta_log目录执行getFileStatus操作时被拒绝，以下从代码配置和AWS权限两方面逐一排查：

一、代码配置问题排查 #

1. 凭证提供者与参数冲突 #

你同时配置了多个凭证提供者：TemporaryAWSCredentialsProvider、SimpleAWSCredentialsProvider、IAMInstanceCredentialsProvider，Spark会按顺序尝试使用凭证：

• 如果使用的是永久IAM凭证，不需要设置fs.s3a.secret.token，且建议调整提供者顺序，把SimpleAWSCredentialsProvider放在最前面，避免临时凭证逻辑干扰：

  .set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider,"
                                          "org.apache.hadoop.fs.s3a.auth.IAMInstanceCredentialsProvider")
  

• 如果使用的是STS临时凭证，必须确保access_key、secret_key、secret_token三者都正确且未过期，且保留TemporaryAWSCredentialsProvider在首位。

2. 代理配置缺失 #

错误信息中明确提到Proxy: webproxy.com，如果你的环境需要通过代理访问S3，必须在SparkConf中添加代理相关配置：

.set("fs.s3a.proxy.host", "webproxy.com")
.set("fs.s3a.proxy.port", "YOUR_PROXY_PORT")  # 替换为实际代理端口
# 若代理需要认证，补充以下配置：
# .set("fs.s3a.proxy.username", "PROXY_USER")
# .set("fs.s3a.proxy.password", "PROXY_PASS")

缺少代理配置会导致请求无法正确路由到S3，返回403错误。

3. Endpoint正确性验证 #

确认end_point参数与S3区域匹配：

• 例如AWS美东1区是s3.amazonaws.com，中国区是s3.cn-north-1.amazonaws.com.cn，错误的endpoint会导致权限验证失败。

4. 简化测试排除saveAsTable影响 #

先跳过saveAsTable，直接用save方法测试基础Delta写入：

df.write.format("delta").mode('overwrite').save(f"s3a://{bucket.name}/test-delta-table")

如果这个操作成功，说明问题出在saveAsTable的catalog配置（比如DeltaCatalog与Spark版本不兼容）；如果同样失败，聚焦到S3访问权限本身。

二、AWS权限问题排查 #

1. 验证IAM实体权限 #

检查执行代码的IAM用户/角色是否具备以下S3权限：

• s3:ListBucket：允许列出bucket内容（包括_delta_log目录）
• s3:GetObject、s3:PutObject、s3:DeleteObject：允许读写、删除bucket内的对象（overwrite模式需要删除权限）
  权限策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::shay-test-bucket",
                "arn:aws:s3:::shay-test-bucket/*"
            ]
        }
    ]
}

2. 检查Bucket Policy限制 #

确认bucket的策略没有拒绝该IAM实体的访问：

• 避免存在Deny语句限制该用户/角色的IP地址、VPC或其他条件；
• 确保bucket policy允许该IAM实体的上述S3操作。

3. 临时凭证有效性（若使用STS） #

如果使用临时凭证，通过AWS CLI验证凭证状态：

aws sts get-caller-identity --access-key YOUR_ACCESS_KEY --secret-key YOUR_SECRET_KEY --session-token YOUR_TOKEN

若返回错误，说明凭证已过期或权限不足。

4. 基础S3访问测试 #

用相同凭证通过AWS CLI直接访问bucket，验证权限：

# 列出bucket内容
aws s3 ls s3://shay-test-bucket/
# 上传测试文件
echo "test" > test.txt
aws s3 cp test.txt s3://shay-test-bucket/
# 删除测试文件
aws s3 rm s3://shay-test-bucket/test.txt

如果CLI操作也返回403，说明问题肯定在AWS权限配置；如果CLI成功，问题则出在Spark的代码配置。

三、其他排查点 #

• 确认Spark与Delta版本兼容：比如Delta Lake 2.x对应Spark 3.2+，版本不兼容可能导致异常（但此问题明确是权限错误，优先级较低）；
• 检查bucket是否开启了S3 Block Public Access：如果IAM实体是外部用户，需确保Block Public Access未限制必要的访问（但内部IAM用户不受此影响）。

内容的提问来源于stack exchange，提问作者Shay Chercavsky