如何将Spark DataFrame转换为Pandas DataFrame并保存为CSV文件

方案一：转换为Pandas DataFrame后保存（适合小数据量） #

你当前操作的是Spark DataFrame（Scala版本），和Pandas DataFrame属于不同的对象体系，toDF()只是Spark内部的列重命名方法，无法转换为Pandas对象。需要调用toPandas()方法完成转换：

代码示例 #

// 从临时视图查询并转换为Pandas DataFrame
val pandas_df = spark.sql("""
    select *
    from fact1
""").toPandas()

// 使用Pandas方法保存为CSV，index=false避免生成索引列
pandas_df.to_csv("/your/target/path/output.csv", index=false)

方案二：直接用Spark保存为CSV（适合大数据量） #

如果数据量较大，转Pandas可能会导致内存压力，推荐直接使用Spark的内置CSV写入功能，支持分布式存储：

保存为多分区CSV #

spark.sql("""
    select *
    from fact1
""").write
    .format("csv")
    .option("header", "true") // 保留表头
    .option("encoding", "utf-8")
    .save("/your/target/path/multi_part_csv")

保存为单个CSV文件 #

如果需要生成单个文件，可通过coalesce(1)合并分区（仅适合小数据量，大数据量不推荐）：

spark.sql("""
    select *
    from fact1
""").coalesce(1)
    .write
    .format("csv")
    .option("header", "true")
    .option("encoding", "utf-8")
    .save("/your/target/path/single_file_csv")

注意事项 #

• 若使用方案一，需确保你的Jupyter Notebook环境已安装Pandas库，未安装可执行!pip install pandas（Scala环境需确保Spark-Pandas桥接配置正常）。
• 大数据量场景优先选择方案二，避免因Pandas加载全量数据导致内存溢出。

内容的提问来源于stack exchange，提问作者MAC