如何用dbutils将DataFrame存入Azure数据湖指定文件夹并验证目录代码

直接用pandas.to_csv写入挂载到DBFS的Azure数据湖效率低下，因为是单进程串行写入。改用Spark结合dbutils的方式能大幅提升速度，推荐方案：

• 将pandas DataFrame转为Spark DataFrame：spark_df = spark.createDataFrame(data)
• 利用Spark分布式写入能力，配合dbutils管理路径：

  # 目标ADLS挂载路径
  target_path = "/mnt/data/your_target_directory"
  # 自动创建目录（已存在则无操作）
  dbutils.fs.mkdirs(target_path)
  # 写入CSV，支持覆盖、表头、压缩等配置
  spark_df.write.mode("overwrite")\
    .option("header", "true")\
    .option("compression", "snappy")\
    .csv(target_path)
  

• 如果需要按Col1、Col2分组存储，直接用Spark的分区写入，自动生成对应目录，并行处理：

  spark_df.write.mode("overwrite")\
    .option("header", "true")\
    .partitionBy("Col1", "Col2")\
    .csv(target_path)
  

你提供的代码存在几个明显问题：

1. 语法错误：PATH = /dbfs/mnt/data/../' 缺少开头的单引号，正确写法是PATH = '/dbfs/mnt/data/../'
2. 冗余判断：dbutils.fs.mkdirs会自动忽略已存在的目录，不需要先调用ls再捕获异常判断，直接调用即可
3. 变量未定义：代码中Day变量未声明，需要从分组键k中提取对应值，比如Day = k[1]（根据你的分组逻辑调整）
4. 效率未改善：循环用pandas.to_csv写入仍然是单进程，无法解决耗时问题，建议优先用Spark方案

如果非要保留循环逻辑，修正后的代码如下：

d = data.groupby(['Col1', 'Col2'])
for k, dates_df in d:
    if not dates_df.empty:
        # 从分组键中获取Day值，根据实际分组顺序调整索引
        Day = k[0]
        PATH = '/dbfs/mnt/data/your_sub_dir/'
        # 直接创建目录
        dbutils.fs.mkdirs(PATH)
        # 写入CSV
        dates_df.to_csv(f"{PATH}{Day}.csv", index=False)

内容的提问来源于stack exchange，提问作者Dolly