Azure Synapse中PySpark写入Blob存储时出现非空目录报错

问题原因 #

虽然初始目录为空，但Spark写入Parquet时会先在目标目录生成临时文件（如校验文件、临时分片文件），加上Azure Storage的一致性延迟或Spark内部删除目录的时序问题，导致执行overwrite模式时，删除目录的操作触发“非空目录不允许操作”的报错。

解决方案 #

1. 提前清空目标目录再写入 #

写入前手动递归删除目标目录，确保目录完全为空后再执行写入操作：

# 用Synapse内置的dbutils工具删除目录
dbutils.fs.rm(path, recurse=True)

# 或者用Hadoop FS API操作（适用于更复杂的场景）
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(spark._jsc.hadoopConfiguration())
fs.delete(spark._jvm.org.apache.hadoop.fs.Path(path), True)

# 执行Parquet写入
df.write.mode('overwrite').parquet(path)

2. 增加短暂延迟等待存储同步 #

如果是Azure Storage的一致性延迟导致删除操作未及时生效，可在删除后加短暂延迟：

import time
dbutils.fs.rm(path, recurse=True)
time.sleep(2)  # 等待存储层同步删除状态
df.write.mode('overwrite').parquet(path)

3. 临时目录写入后重命名（最可靠） #

先将数据写入临时目录，完成后替换目标目录，彻底避免overwrite时的目录冲突：

temp_path = f"{path}_temp"

# 清理临时目录
dbutils.fs.rm(temp_path, recurse=True)
# 写入临时目录
df.write.parquet(temp_path)
# 清理原目标目录
dbutils.fs.rm(path, recurse=True)
# 将临时目录重命名为目标路径
dbutils.fs.mv(temp_path, path)

4. 检查存储权限 #

确保Synapse使用的身份（托管标识/服务主体）对目标存储路径拥有删除、写入、重命名的完整权限，权限不足可能导致目录删除失败，进而触发非空目录错误。

内容的提问来源于stack exchange，提问作者MrKoos