Spark DataFrame导出CSV文件时如何设置自定义表头

推荐方案：重命名DataFrame列名后导出 #

Spark导出CSV时的表头默认取DataFrame的列名，你只需要在导出前将原表字段名替换为自定义名称，再开启表头导出参数即可。

Python 示例代码 #

1. 定义字段映射规则

# 键为Hive表原始字段名，值为自定义表头名称，按实际需求补全
col_map = {
    "user_id": "用户ID",
    "order_amount": "订单金额",
    "create_time": "下单时间",
    "pay_status": "支付状态"
}

2. 批量重命名DataFrame列

# raw_df 为你读取Hive表得到的原始DataFrame
custom_df = raw_df.select(*[raw_df[old_col].alias(new_col) for old_col, new_col in col_map.items()])

3. 导出CSV（保留你原本的coalesce逻辑）

custom_df.coalesce(1) \
    .write \
    .mode("overwrite") \
    .option("header", "true") \
    .option("encoding", "UTF-8") \
    .csv("/你的/csv/输出路径")

Scala 示例代码 #

import org.apache.spark.sql.functions.col

val colMap = Map(
  "user_id" -> "用户ID",
  "order_amount" -> "订单金额",
  "create_time" -> "下单时间",
  "pay_status" -> "支付状态"
)
// 重命名列
val customDf = rawDf.select(colMap.map{case (oldCol, newCol) => col(oldCol).alias(newCol)}.toSeq:_*)
// 导出CSV
customDf.coalesce(1)
  .write
  .mode("overwrite")
  .option("header", "true")
  .option("encoding", "UTF-8")
  .csv("/你的/csv/输出路径")

备选方案（仅适合临时小数据量场景） #

如果你不想修改原DataFrame的列名，可以手动构造表头行再合并到数据中，需要注意统一数据类型：

from pyspark.sql import Row
# 构造表头行
header_row = spark.createDataFrame([Row(*col_map.values())])
# 合并表头和数据，导出时关闭header参数
header_row.unionByName(raw_df.select(col_map.keys()).cast("string")) \
    .coalesce(1) \
    .write \
    .mode("overwrite") \
    .option("header", "false") \
    .csv("/你的/csv/输出路径")

注意事项 #

• 如果自定义表头包含中文、特殊符号，必须指定encoding为UTF-8，避免乱码
• 列映射规则需要覆盖所有你需要导出的字段，避免列顺序错乱
• 如果导出后CSV打开乱码，可以额外添加.option("quoteAll", "true")参数解决特殊字符格式问题

内容的提问来源于stack exchange，提问作者Jagan