AWS Glue作业写入Delta到S3遇AccessDenied权限问题排查

问题核心 #

你的Glue作业使用关联IAM角色读取Glue Catalog数据后，写入Delta格式到S3时触发403权限错误，但放开S3桶权限给principal:*就正常，且原生Glue组件写入S3无问题。

关键原因分析 #

1. Delta与原生Glue的提交机制差异
   Glue作业确实使用你配置的关联IAM角色执行，但Delta Lake依赖Spark的FileOutputCommitter处理文件提交，这个组件在S3上会创建临时目录（比如报错中的/_temporary/0）并进行清理操作，而原生Glue组件用的是自有提交逻辑，权限要求不同。

2. 权限缺失的细节
   即使你配置了s3:PutObject、List、Describe，Delta写入还需要以下权限：

• s3:DeleteObject：提交阶段清理临时文件时需要
• s3:GetObject：验证文件完整性或读取元数据时需要
  如果IAM角色或桶策略未包含这些权限，就会触发403。

3. 桶策略的优先级限制
   S3桶策略的优先级高于IAM角色权限，如果桶策略中没有明确允许你的Glue角色对目标路径（包括临时子路径）的操作，即使IAM角色有全权限，也会被桶策略拦截。

解决步骤 #

1. 补全IAM角色权限
   确保角色权限包含对目标S3桶的以下操作：

{
  "Effect": "Allow",
  "Action": [
    "s3:PutObject",
    "s3:GetObject",
    "s3:DeleteObject",
    "s3:ListBucket",
    "s3:GetBucketLocation",
    "s3:ListBucketVersions"
  ],
  "Resource": [
    "arn:aws:s3:::your-target-bucket",
    "arn:aws:s3:::your-target-bucket/*"
  ]
}

2. 修正桶策略
   替换principal:*为你的Glue角色ARN，确保桶策略允许角色访问桶及所有子路径：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::你的账号ID:role/你的Glue作业角色名"
      },
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject",
        "s3:ListBucket",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::your-target-bucket",
        "arn:aws:s3:::your-target-bucket/*"
      ]
    }
  ]
}

3. 代码层面验证
   可以尝试跳过Glue Catalog的写入API，直接用Spark Delta API写入，排查是否是Catalog配置问题：

# 替换为你的S3路径
dset_df.write.format("delta").mode("overwrite").save("s3://your-target-bucket/path/to/delta-table")

如果此方式正常，说明是Glue Catalog表的路径或权限配置有问题，需要检查Catalog表的位置设置是否正确。

额外注意点 #

• 确认报错中的glue-d-xxx-data-catalog-t--m-w对应的实际S3桶，确保权限配置覆盖了该桶。
• 如果使用了S3加密（SSE-KMS等），还需要给Glue角色添加对应的KMS权限（kms:GenerateDataKey、kms:Decrypt）。

内容的提问来源于stack exchange，提问作者Abhi