You need to enable JavaScript to run this app. Azure Databricks中将pandas dataframe存为单个CSV到Azure Data Lake Gen2
优惠活动
大模型
产品
解决方案
定价
更多

Azure Databricks中将pandas dataframe存为单个CSV到Azure Data Lake Gen2

单个CSV文件导出解决方案

你之前使用的是Spark DataFrame的写入API,Spark作为分布式计算引擎默认会按数据分区并行输出,每个分区对应一个独立的CSV文件,因此会得到10个分片,无法直接生成单个自定义名称的目标文件。可根据你的数据量选择以下方案实现需求:

方案1:小数据量直接转pandas导出

如果数据量小于单节点内存上限,可直接将Spark DataFrame转为pandas DataFrame后用pandas接口导出,直接支持自定义文件名:

# Spark DataFrame转pandas DataFrame
pandas_df = df.toPandas()
# 直接写入ADLS Gen2路径,可自行修改自定义文件名
pandas_df.to_csv(f"{dstPath}/你要的自定义文件名.csv", header=True, index=False)
  • 如果你手里的df本身就是原生pandas DataFrame,不需要调用Spark的write接口,直接执行上述to_csv步骤即可,前提是你已经配置好Databricks对目标ADLS Gen2路径的读写权限。

方案2:中大数据量Spark合并分区后重命名

如果数据量较大无法转为单节点pandas DataFrame,可先将Spark数据合并为1个分区输出到临时目录,再通过文件操作接口重命名为目标文件名:

# 自定义配置
target_file_name = "自定义文件名.csv"
temp_output_dir = f"{dstPath}/temp_csv_output"

# 合并为1个分区后输出到临时目录
df.coalesce(1)\
  .write\
  .mode("overwrite")\
  .format("csv")\
  .option("header", "true")\
  .save(temp_output_dir)

# 匹配临时目录下生成的csv分片文件
csv_part_file = [f.path for f in dbutils.fs.ls(temp_output_dir) if f.name.endswith(".csv")][0]

# 将分片文件移动到目标路径并重命名为自定义名称
dbutils.fs.mv(csv_part_file, f"{dstPath}/{target_file_name}")
# 清理临时目录
dbutils.fs.rm(temp_output_dir, recurse=True)

注意:coalesce(1)会将全量数据调度到同一个Executor节点执行,数据量过大会导致内存溢出,仅适合中等数据量场景。如果是超大规模数据,不建议输出单个CSV文件。

内容的提问来源于stack exchange,提问作者inspiredd

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 19:06:07