PySpark写入S3的文件无法被SageMaker、Boto3访问的问题求助

你遇到的403 Forbidden问题，核心原因是PySpark使用s3a协议写入S3时，默认会将文件的ACL（访问控制列表）设置为private——也就是只有创建这些文件的IAM角色（即Spark任务运行时使用的角色）拥有访问权限。

虽然你的SageMaker角色配备了S3FullAccess权限策略，但S3的权限检查会同时结合IAM策略和资源级的ACL。由于这些Spark写入的文件ACL限制了只有创建者能访问，即使SageMaker角色有全局的S3权限，也会被拒绝访问。而你手动创建的文件会继承桶的默认ACL，所以能正常被SageMaker访问。

下面提供两种针对性的解决方案，分别适用于事前预防和事后补救：

1. 写入时配置Spark，设置文件默认ACL #

在执行PySpark的write操作前，添加Spark配置，指定写入S3的文件默认ACL为bucket-owner-full-control（让桶所属的AWS账号拥有文件的完全控制权，同账号下的其他角色自然就能访问）：

# 在DataFrame写入前添加这行配置
spark.conf.set("fs.s3a.acl.default", "bucket-owner-full-control")

# 再执行你的写入命令
df.write.partitionBy(ACCOUNT_ID).csv("s3a://my-bucket-name/dataset", header=True, sep=";")

这个配置会让后续Spark写入的所有文件都自动应用该ACL，从根源上避免权限问题。

2. 批量修改已写入文件的ACL（事后补救） #

如果已经有大量文件写入S3且出现权限问题，可以用AWS CLI批量修改这些文件的ACL，赋予同账号角色访问权限：

aws s3 cp s3://my-bucket-name/dataset/ s3://my-bucket-name/dataset/ --recursive --acl bucket-owner-full-control

这条命令会递归遍历dataset目录下的所有文件和子目录，将它们的ACL更新为桶所有者完全控制，这样SageMaker角色就能正常访问了。

额外注意点 #

• 如果你不需要桶所有者完全控制，也可以根据需求设置其他ACL值，比如authenticated-read（允许所有认证的AWS用户读取），但bucket-owner-full-control是最安全且适配同账号多角色场景的选择。
• 确保Spark任务运行的IAM角色拥有修改S3 ACL的权限（通常包含在S3FullAccess或更精细的权限策略中），否则设置ACL的配置会失效。

内容的提问来源于stack exchange，提问作者padmanabh pande