PySpark下如何将多个Spark DataFrame分别写入不同名称的CSV文件

你遇到的报错核心原因有两点：

• Spark的write.csv接口传入的路径是输出文件夹路径，而非单个CSV文件路径，写入时会自动生成该文件夹，内部存放分片的part数据文件
• Spark默认写入模式为errorifexists，目标路径已存在时会直接抛出异常，你的循环所有迭代都用同一个路径，自然第二次就会失败

方案1：用迭代序号生成唯一路径（最简单通用） #

通过enumerate获取循环序号，拼接到输出路径中即可生成互不冲突的存储路径：

for idx, df in enumerate(view):
    # 路径前加r标识原始字符串，避免Windows下反斜杠转义异常
    output_dir = rf'D:\spark_csv_output\df_{idx}'
    # 每个DataFrame写入独立的文件夹
    df.repartition(1).write.csv(output_dir, header=True)

执行后会在D:\spark_csv_output下生成df_0、df_1等独立文件夹，每个文件夹内对应当前DataFrame的输出CSV文件。

方案2：用自定义业务名生成路径（可读性更高） #

如果你的DataFrame都对应明确的业务名称，可以把列表存为(名称, DataFrame)的元组格式，直接用业务名作为路径标识：

# 示例view的格式：存储（表名, DataFrame）元组
view = [('user_info', user_df), ('order_record', order_df), ('product_stats', product_df)]

for table_name, df in view:
    output_dir = rf'D:\spark_csv_output\{table_name}'
    df.repartition(1).write.csv(output_dir, header=True)

可选扩展：直接生成命名好的单个CSV文件 #

如果不想保留Spark生成的文件夹结构，需要直接得到单个命名完成的CSV文件，分两种场景处理：

• 数据量小（可以全量拉到Driver端）：直接转Pandas写入

for idx, df in enumerate(view):
    output_file = rf'D:\spark_csv_output\df_{idx}.csv'
    df.toPandas().to_csv(output_file, header=True, index=False, encoding='utf-8-sig')

• 数据量大：用Hadoop FileSystem API重命名Spark生成的part文件，不需要拉取全量数据到Driver，性能更高。

内容的提问来源于stack exchange，提问作者Guanbin Yu