如何在Databricks中将Pandas DataFrame写入挂载S3桶的单个CSV文件？

当S3桶已挂载到本地文件系统后，挂载路径可像本地目录一样直接操作。针对你的需求，提供两种可行方案：

方案1：转换为Pandas DataFrame后直接写入（适合小数据量） #

Spark本身没有to_csv()方法，你提到的df.to_csv()是Pandas的API。可先将Spark DataFrame转换为Pandas DataFrame，再直接写入挂载的S3路径：

# 将Spark DataFrame转换为Pandas DataFrame
pandas_df = spark_df.toPandas()
# 直接写入挂载的S3路径，指定目标文件名
pandas_df.to_csv('/mnt/your-s3-mount-path/target_file.csv', index=False)

⚠️ 注意：若数据量过大，toPandas()会把全量数据拉取到Spark Driver节点，可能触发内存溢出，这种场景不建议用此方案。

方案2：通过Spark临时输出+文件移动实现（适合大数据量） #

Spark的分布式输出特性决定了它会将结果写入目录而非单个文件，即便设置repartition(1)或coalesce(1)也会生成目录。可先将数据写入临时目录，再把生成的单个part文件移动到挂载的S3目标路径：

import os
import shutil

# 定义临时输出路径和目标路径
temp_dir = '/tmp/spark_temp_output'
target_path = '/mnt/your-s3-mount-path/target_file.csv'

# 将Spark DataFrame重分区为1，写入临时目录
spark_df.repartition(1).write.csv(temp_dir, header=True, mode='overwrite')

# 查找临时目录下的CSV文件
csv_files = [f for f in os.listdir(temp_dir) if f.endswith('.csv')]
if csv_files:
    # 移动单个CSV文件到目标路径
    source_file = os.path.join(temp_dir, csv_files[0])
    os.rename(source_file, target_path)
    # 删除临时目录
    shutil.rmtree(temp_dir)

关键注意事项 #

• 确保运行Spark的用户拥有挂载S3路径的读写权限
• 若使用coalesce(1)，它属于窄依赖操作，相比repartition(1)性能更高，但数据倾斜时可能影响效率

内容的提问来源于stack exchange，提问作者Ee Ann Ng