从Azure Databricks保存文件到Blob时分区文件夹出现额外文件

问题原因 #

这些与分区文件夹同名的文件是Spark的分区元数据文件。当你按year/month/day的结构进行分区写入时，Spark会默认在每个分区目录下生成以分区字段命名的文件（比如month、day），用于记录该分区对应的字段值，属于Spark分区写入的默认行为。

解决办法 #

1. 写入时禁用分区元数据生成 #

在调用DataFrame的write方法时，添加spark.sql.sources.partitionColumnTypeInference.enabled参数并设为false，同时指定分区列：

df.write \
  .option("header", "true") \
  .option("spark.sql.sources.partitionColumnTypeInference.enabled", "false") \
  .partitionBy("year", "month", "day") \
  .csv("/mnt/your_container/target_path")

该参数会阻止Spark自动生成这类分区元数据文件，仅保留实际的CSV数据文件。

2. 批量清理已生成的冗余文件 #

如果已经产生了这类文件，可以通过dbutils.fs工具递归删除：

# 筛选并删除所有分区目录下的同名元数据文件
target_mount_path = "/mnt/your_container/target_path"
partition_files = dbutils.fs.find(target_mount_path).filter(lambda f: f.split("/")[-1] in ["year", "month", "day"])
for file in partition_files:
    dbutils.fs.rm(file)

执行前请务必确认路径和筛选规则，避免误删有效数据。

3. 改用Delta Lake格式存储 #

若业务场景允许，推荐使用Delta Lake格式替代CSV。Delta Lake不会生成这类冗余的分区元数据文件，同时还支持ACID事务、数据版本控制、增量读写等高级特性：

df.write \
  .partitionBy("year", "month", "day") \
  .format("delta") \
  .save("/mnt/your_container/delta_target_path")

内容的提问来源于stack exchange，提问作者Alex K