如何将内存中的Spark DataFrame转为Driver端的CSV字符串？

既然已经确认DataFrame可完全存入内存，不需要写入磁盘就能直接生成CSV字符串，下面提供两种可靠的实现方式：

方法一：手动拼接CSV（轻量灵活） #

适合需要自定义格式细节的场景，核心是把数据收集到Driver后，拼接表头和每行数据：

import org.apache.spark.sql.Row

val df = // 你的目标DataFrame
// 生成表头字符串
val header = df.columns.mkString(",")
// 将每行数据转为CSV格式的字符串，处理空值和引号转义
val csvRows = df.collect().map { row =>
  row.toSeq.map {
    case null => ""
    case str: String => s""""${str.replace("\"", "\"\"")}"""" // 转义字符串中的双引号
    case value => value.toString
  }.mkString(",")
}
// 拼接表头和所有行，用换行符分隔
val csv = (header +: csvRows).mkString("\n")

注意：这种方式需要自己处理特殊字符（比如逗号、双引号），如果业务场景有复杂格式要求，建议用第二种方法。

方法二：利用Spark内置CSV工具类（推荐） #

Spark内置的CSV处理逻辑已经封装了各种格式规范（分隔符、转义、引号规则等），直接用它写入内存流更可靠：

import java.io.ByteArrayOutputStream
import org.apache.spark.sql.catalyst.csv.CSVWriter

val df = // 你的目标DataFrame
val outputStream = new ByteArrayOutputStream()

// 调用Spark的CSVWriter写入内存流，可通过参数配置格式
CSVWriter.write(
  df.queryExecution.executedPlan,
  df.schema,
  Map(
    "header" -> "true",
    "delimiter" -> ",",
    "quote" -> "\"",
    "escape" -> "\""
  ),
  outputStream
)

// 将流内容转为字符串
val csv = outputStream.toString("UTF-8")
outputStream.close()

这种方式不需要手动处理格式细节，完全复用Spark官方的CSV生成逻辑，兼容性更强。

内容的提问来源于stack exchange，提问作者Levno_710