使用Spark写入S3表时出现Access denied (403)权限问题排查

我来帮你梳理下这个问题——这种情况在EMR集群上用Spark操作Hive外部表时确实挺常见的，咱们从几个核心方向排查：

1. 优先检查EMR集群的IAM角色权限 #

Hive Shell能正常写入，大概率是因为Hive默认使用了EMR集群的实例IAM角色（比如EMR_EC2_DefaultRole）来访问S3，而Spark如果没正确继承这个角色的权限，就会触发拒绝错误。你手动在spark-shell里配置access_key/secret_key，要么是这个密钥对应的IAM用户没有目标S3路径的权限，要么是和集群的实例角色权限逻辑冲突了。

解决步骤：

• 登录AWS控制台，检查EMR集群的实例配置文件角色（EC2 Instance Profile）是否关联了EMR_EC2_DefaultRole，且这个角色有S3读写权限（至少包含s3:PutObject、s3:GetObject、s3:ListBucket这几个权限）。
• 不要手动设置access_key/secret_key，让Spark自动继承EC2实例的IAM角色权限——这是EMR上访问S3的标准方式，比硬编码密钥更安全也更可靠。

2. 确认Spark使用EMRFS访问S3 #

EMR集群默认用emrfs作为S3文件系统客户端，它会自动集成IAM角色权限。如果你不小心配置了普通的S3A客户端，就会绕过EMR的权限管理机制，导致报错。

验证&解决：
在spark-shell里执行以下命令检查当前的S3文件系统实现：

sc.hadoopConfiguration.get("fs.s3.impl")

如果返回的不是com.amazon.ws.emr.hadoop.fs.EmrFileSystem，手动设置配置：

sc.hadoopConfiguration.set("fs.s3.impl", "com.amazon.ws.emr.hadoop.fs.EmrFileSystem")
sc.hadoopConfiguration.set("fs.s3a.impl", "com.amazon.ws.emr.hadoop.fs.EmrFileSystem")

设置后重新尝试插入操作。

3. 检查S3桶的桶策略/ACL #

即使EMR角色有权限，S3桶的桶策略也可能限制了访问。比如桶策略里没有允许EMR实例角色的ARN进行读写操作，或者ACL设置了私有访问。

解决步骤：

• 打开S3控制台，找到目标桶的桶策略，添加允许EMR实例角色访问的规则，示例如下：

{
  "Effect": "Allow",
  "Principal": {
    "AWS": "arn:aws:iam::你的AWS账号ID:role/EMR_EC2_DefaultRole"
  },
  "Action": ["s3:PutObject", "s3:GetObject", "s3:ListBucket"],
  "Resource": [
    "arn:aws:s3:::你的桶名/*",
    "arn:aws:s3:::你的桶名"
  ]
}

• 同时确认桶的ACL没有设置过于严格的权限（比如只允许桶所有者访问）。

4. 核对Hive外部表的路径配置 #

确保Spark插入的路径和Hive外部表定义的LOCATION完全一致。有时候Hive表的路径是s3://bucket/path/（带末尾斜杠），而Spark写的时候没加斜杠，导致实际访问的路径不一致，触发权限问题。

验证方法：
在Hive Shell里执行：

DESCRIBE FORMATTED 你的表名;

查看输出中的Location字段，确保Spark代码中写入的路径和这个完全匹配。

内容的提问来源于stack exchange，提问作者sri hari kali charan Tummala