PySpark（Databricks）能否写入无GetObject权限的S3路径？如何关闭写入后校验？

使用PySpark时，我能否写入没有GetObject权限的S3路径？Spark将DataFrame写入S3后，似乎会通过底层调用HeadObject的getFileStatus来校验写入文件的有效性。若我仅被授予写入和列出对象的权限，却无GetObject权限，是否有办法让Databricks上的PySpark在写入成功后不执行该有效性校验？

核心结论 #

默认情况下不行，但可以通过修改Hadoop S3A客户端的配置参数，禁用写入后的文件状态校验，从而绕过对GetObject权限的需求。

问题根源 #

Spark依赖Hadoop的文件系统抽象层与S3交互，在完成DataFrame写入后，会调用getFileStatus方法验证文件是否成功创建。这个方法对应S3的HeadObject API操作，而该操作需要GetObject权限——这就是你遇到权限问题的直接原因。

具体解决方案 #

通过设置Hadoop S3A客户端的配置参数，跳过写入后的文件存在性检查：

1. Notebook临时配置 #

在执行写入操作前，通过spark.conf.set临时生效参数：

# 禁用写入后的文件状态校验
spark.conf.set("fs.s3a.skip.exists.after.create", "true")

2. 集群全局配置 #

如果需要所有作业都生效，可在Databricks集群的Spark配置中添加以下内容：

fs.s3a.skip.exists.after.create true

注意事项 #

• 该参数适用于s3a://协议路径（Databricks中s3://底层实际使用s3a客户端，无需修改路径格式）。
• 禁用校验后，Spark无法主动感知写入失败（如网络中断导致的部分写入），需自行通过List操作等方式验证写入结果。
• 确保已拥有基础权限：PutObject（写入对象）和ListBucket（列出桶内对象）是写入S3的必要权限，缺一不可。

内容的提问来源于stack exchange，提问作者gdoron