Spark DataFrame中含逗号列名用双引号包裹的实现方案

针对你遇到的DataFrame列名包含逗号（比如示例中的Course,No）需要包裹双引号的需求，这里有两种实用的解决方案：

方案1：手动修改DataFrame列名，给含逗号的列名添加双引号 #

你可以遍历DataFrame的所有列名，对包含逗号的列名直接用双引号包裹，然后重命名列。结合你的代码片段，实现如下：

def testWriteDataframeToCSV(): Unit = {
  val df = generateDF(
    Array(
      ("1", "4567-01", "one", 1, 1.0, "1", "1.1"),
      ("2", "4568-02", "two", 2, 2.0, "2", "2.2"),
      ("3", "4569-25", "three", 3, 3.0, "3", "3")
    ),
    Seq("Id", "Course,No", "data1", "data2", "data3", "data4", "data5")
  )

  // 处理含逗号的列名，添加双引号
  val processedDF = df.columns.foldLeft(df) { (accDF, colName) =>
    val newColName = if (colName.contains(",")) s""""$colName"""" else colName
    accDF.withColumnRenamed(colName, newColName)
  }

  // 后续写入CSV的逻辑，注意配置确保引号被保留
  processedDF.write
    .option("header", "true")
    .option("quoteMode", "NONE") // 避免Spark给已手动加引号的列名重复添加引号
    .mode("overwrite") // 可选：覆盖已有输出文件
    .csv("path/to/your/output")
}

这段代码通过foldLeft遍历所有列，判断列名是否包含逗号，若是则用双引号包裹（Scala中用三重引号实现双引号的转义），然后重命名列。写入CSV时配置quoteMode为NONE，防止Spark再次给已加引号的列名添加额外引号。

方案2：利用Spark CSV写入配置自动给含特殊字符的列名加引号 #

如果你不想修改原始DataFrame的列名，可以通过配置Spark的CSV写入选项，让它自动给包含逗号（或其他分隔符）的列名和字段添加引号。这种方法更简洁，推荐使用：

def testWriteDataframeToCSV(): Unit = {
  val df = generateDF(
    Array(
      ("1", "4567-01", "one", 1, 1.0, "1", "1.1"),
      ("2", "4568-02", "two", 2, 2.0, "2", "2.2"),
      ("3", "4569-25", "three", 3, 3.0, "3", "3")
    ),
    Seq("Id", "Course,No", "data1", "data2", "data3", "data4", "data5")
  )

  df.write
    .option("header", "true")
    .option("quoteMode", "MINIMAL") // 仅当字段/列名包含分隔符、引号或换行时自动添加引号
    .option("delimiter", ",") // 明确指定CSV分隔符为逗号
    .mode("overwrite") // 可选：覆盖已有输出文件
    .csv("path/to/your/output")
}

这里的quoteMode设为MINIMAL是Spark的默认行为，它会自动识别包含分隔符（逗号）的列名，在写入CSV表头时给这些列名加上双引号，同时也会处理数据中包含逗号的字段。这种方式不需要修改原始列名，更符合Spark的原生处理逻辑。

额外说明 #

• 如果你的CSV读取工具需要强制所有列名都带双引号，可以把quoteMode改为ALL，这样所有列名和非数值字段都会被双引号包裹。
• 若输出路径已存在，记得添加.mode("overwrite")避免报错，也可以根据需求选择append或ignore模式。

内容的提问来源于stack exchange，提问作者blackfury