Spark写入Parquet文件到S3所需的最小IAM权限咨询

以下是两种写入场景所需的必要IAM操作权限，基于Spark写S3的底层执行逻辑整理：

场景1：df.write.parquet(s3_path)（默认ErrorIfExists模式） #

默认模式下，Spark仅在目标路径不存在时执行写入，若路径已存在则直接抛出错误。所需权限：

• s3:ListBucket：用于检查目标路径是否存在（判断是否触发报错逻辑）
• s3:GetBucketLocation：获取存储桶的区域信息（AWS SDK底层操作必需）
• s3:PutObject：将Parquet文件写入目标路径（自动创建路径前缀，无需额外目录创建权限）

场景2：df.write.mode("overwrite").parquet(s3_path)（覆盖模式） #

覆盖模式会先清理目标路径下的所有现有文件，再写入新数据。所需权限包含场景1的全部权限，额外增加：

• s3:DeleteObject：删除单个现有文件
• s3:DeleteObjects：批量删除目标路径下的多个文件（Spark通常会批量清理，该权限比单个删除更高效）

权限资源范围说明 #

配置权限时需注意资源粒度：

• 针对桶级操作（ListBucket、GetBucketLocation），资源需指定为存储桶ARN：arn:aws:s3:::your-bucket-name
• 针对对象操作（PutObject、DeleteObject、DeleteObjects），资源需指定为目标路径前缀：arn:aws:s3:::your-bucket-name/your-target-path/*

内容的提问来源于stack exchange，提问作者Dommondke