如何在Scala中为CSV文件的表头前添加字符串行

要实现第一行自定义字符串、第二行列名、第三行及以后为数据的CSV输出，核心思路是把前置行和表头都当作数据行，和原始数据合并后再输出（不启用Spark默认的表头输出）。以下是具体实现步骤：

步骤1：读取无表头的原始CSV #

首先读取没有表头的CSV文件，此时Spark会自动生成默认列名（_c0, _c1, ...）：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.StringType

// 读取无表头CSV
val rawDF = spark.read
  .option("header", "false")
  .csv("/path/to/your/input.csv")

步骤2：定义表头并生成前置行、表头行的DataFrame #

• 先定义你的目标表头，再分别生成前置行和表头行的DataFrame（要保证列数和原始数据一致）：

// 替换为你的实际列名，长度要和原始CSV的列数匹配
val headers = Seq("customer_id", "order_date", "amount")

// 生成前置行：这里示例为"DATA_FILE,SALES_ORDERS,2024"，可根据需求修改
// 如果前置行是单个字符串，可用Seq("YOUR_PREFIX_STRING") ++ Seq.fill(headers.length - 1)("")补全列数
val prefixContent = Seq("DATA_FILE", "SALES_ORDERS", "2024")
val prefixDF = spark.createDataFrame(Seq(prefixContent)).toDF(rawDF.columns: _*)

// 把表头转换成一行数据
val headerDF = spark.createDataFrame(Seq(headers)).toDF(rawDF.columns: _*)

步骤3：统一数据类型并合并DataFrame #

原始数据可能包含不同类型（如整数、浮点数），需要转换成字符串类型，避免和前置行、表头行的类型冲突：

// 将原始数据全部转为String类型
val rawDFString = rawDF.select(rawDF.columns.map(col(_).cast(StringType)): _*)

// 按顺序合并：前置行 → 表头行 → 原始数据
val finalDF = prefixDF.union(headerDF).union(rawDFString)

步骤4：输出最终CSV #

输出时关闭Spark默认的表头（因为我们已经把表头作为数据行加入），可选配置引号规则避免字符串被包裹：

finalDF.write
  .option("header", "false")
  .option("quote", "") // 可选，根据需求决定是否保留引号
  .mode("overwrite") // 覆盖已有文件，可根据需求改为append等
  .csv("/path/to/your/output.csv")

关键注意事项 #

• 前置行的列数必须和表头、原始数据的列数一致，否则CSV会出现列不匹配的问题。
• 如果原始数据包含特殊分隔符（如逗号），可通过option("delimiter", "your_delimiter")指定分隔符，避免解析错误。

内容的提问来源于stack exchange，提问作者venkat