Apache Spark通过S3a写入受限权限S3桶的权限问题及规避方案问询

首先得搞清楚为什么Spark会要求S3:DeleteObject权限：默认情况下，Spark用的FileOutputCommitter会先把数据写入临时目录，完成后再把这些文件移动到最终目标路径。但在S3里，"移动"本质是「复制文件到新路径 + 删除原临时文件」；如果你的写入模式是overwrite，Spark还会先尝试删除整个目标目录——这两个动作都需要DeleteObject权限，这就是你遇到403的核心原因。

而s3distcp能成功，是因为它的上传逻辑更直接，不需要临时文件的移动操作，只靠PutObject权限就能完成写入。那我们可以通过调整Spark的配置，让它的写入行为和s3distcp对齐，从而规避DeleteObject的权限要求。

具体解决方案 #

1. 启用S3A专用提交器，绕过临时文件移动 #

修改Spark配置，启用S3A的DirectoryCommitter提交器——它会直接把文件写入最终目标路径，完全不需要临时目录和后续的移动/删除操作：

sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.committer.name", "directory")
sparkSession.sparkContext.hadoopConfiguration.set("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.S3HadoopMapReduceCommitProtocol")

这个提交器只需要你拥有PutObject权限就能完成写入，完全绕开了DeleteObject的要求。

2. 调整写入模式，避免触发目录删除 #

如果你的写入模式是overwrite，Spark会先尝试删除整个目标目录，这依然需要DeleteObject权限。所以：

• 优先用mode("append")：如果业务允许追加数据，直接用这个模式，Spark不会删除任何现有内容，只会新增文件到目标路径。
• 若必须覆盖数据：可以先让桶所有者帮忙清理目标路径的旧数据，或者用你有权限的工具（比如s3distcp）先清空目录，再用Spark以append模式写入新数据。

3. 额外配置优化（可选） #

为了确保配置生效，还可以添加以下参数，禁用一些可能触发删除操作的默认行为：

// 禁用临时文件自动清理（DirectoryCommitter本来就不需要临时文件）
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.committer.cleanup.temporary", "false")
// 禁止删除空目录（避免不必要的删除请求）
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.committer.delete.empty.directories", "false")

修改后的完整代码示例 #

// 设置S3凭证
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.bucket.some-bucket.access.key", "accesskey")
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.bucket.some-bucket.secret.key", "secretkey")

// 启用DirectoryCommitter提交器
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3a.committer.name", "directory")
sparkSession.sparkContext.hadoopConfiguration.set("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.S3HadoopMapReduceCommitProtocol")

// 以append模式写入数据（若需覆盖，提前清理目录后再执行）
data.write.mode("append").csv("s3a://some-bucket/test")

这样调整后，Spark就只需要PutObject权限就能完成写入，完全不需要DeleteObject了。

内容的提问来源于stack exchange，提问作者Frederic