Azure Databricks中将pandas dataframe存为单个CSV到Azure Data Lake Gen2
单个CSV文件导出解决方案
你之前使用的是Spark DataFrame的写入API,Spark作为分布式计算引擎默认会按数据分区并行输出,每个分区对应一个独立的CSV文件,因此会得到10个分片,无法直接生成单个自定义名称的目标文件。可根据你的数据量选择以下方案实现需求:
方案1:小数据量直接转pandas导出
如果数据量小于单节点内存上限,可直接将Spark DataFrame转为pandas DataFrame后用pandas接口导出,直接支持自定义文件名:
# Spark DataFrame转pandas DataFrame pandas_df = df.toPandas() # 直接写入ADLS Gen2路径,可自行修改自定义文件名 pandas_df.to_csv(f"{dstPath}/你要的自定义文件名.csv", header=True, index=False)
- 如果你手里的df本身就是原生pandas DataFrame,不需要调用Spark的write接口,直接执行上述to_csv步骤即可,前提是你已经配置好Databricks对目标ADLS Gen2路径的读写权限。
方案2:中大数据量Spark合并分区后重命名
如果数据量较大无法转为单节点pandas DataFrame,可先将Spark数据合并为1个分区输出到临时目录,再通过文件操作接口重命名为目标文件名:
# 自定义配置 target_file_name = "自定义文件名.csv" temp_output_dir = f"{dstPath}/temp_csv_output" # 合并为1个分区后输出到临时目录 df.coalesce(1)\ .write\ .mode("overwrite")\ .format("csv")\ .option("header", "true")\ .save(temp_output_dir) # 匹配临时目录下生成的csv分片文件 csv_part_file = [f.path for f in dbutils.fs.ls(temp_output_dir) if f.name.endswith(".csv")][0] # 将分片文件移动到目标路径并重命名为自定义名称 dbutils.fs.mv(csv_part_file, f"{dstPath}/{target_file_name}") # 清理临时目录 dbutils.fs.rm(temp_output_dir, recurse=True)
注意:
coalesce(1)会将全量数据调度到同一个Executor节点执行,数据量过大会导致内存溢出,仅适合中等数据量场景。如果是超大规模数据,不建议输出单个CSV文件。
内容的提问来源于stack exchange,提问作者inspiredd
相关产品推荐
相关产品推荐

