Spark写入CSV文件时时间戳格式与配置不符问题求解

你代码中配置的timestampFormat参数是正常生效的，Spark写入CSV文件的原始内容里，时间戳格式就是你指定的yyyy-MM-dd HH:mm:ss。
用Excel打开后显示的日期格式异常，和Spark写入逻辑无关，是Excel的默认自动格式识别机制导致的：Excel会自动把符合日期特征的文本识别为日期类型，按照系统本地的日期展示规则重新渲染，不会保留文本原始的格式。
你可以用任意纯文本编辑器（记事本、VS Code、Mac自带文本编辑等）打开生成的CSV文件，直接查看原始存储内容，就能确认时间戳本身的写入格式完全符合要求。

根据你的实际使用场景二选一即可：

• 若仅要求文件存储的内容格式符合规范：无需修改现有Spark代码，当前输出的文件已经满足要求，校验文件内容时使用纯文本编辑器打开，不要用Excel的默认渲染结果判断文件原始内容。
• 若要求用Excel打开时也固定展示yyyy-MM-dd HH:mm:ss格式，可选择以下任意一种方式实现：
  1. 写入前将时间戳字段转换为字符串类型，阻断Excel的自动日期识别，参考代码如下：

  import org.apache.spark.sql.functions.{col, date_format}
  
  // 替换代码中"timestamp_col"为你实际的时间戳字段名
  val convertedDF = spark_raw_5.withColumn(
    "timestamp_col",
    date_format(col("timestamp_col"), "yyyy-MM-dd HH:mm:ss")
  )
  
  convertedDF.repartition(1).write.mode("overwrite")
    .option("header","true")
    .option("escape", "\"")
    .csv("/Users/adityaverma/Downloads/accounts_spark_output.csv")
  

  转换为字符串后，Excel会将该列内容识别为普通文本，打开时直接原样展示，不会自动套用日期格式。
  2. 不修改Spark输出逻辑，用Excel打开CSV文件后，手动选中时间戳所在列，右键选择「设置单元格格式」，在自定义分类中输入格式规则yyyy-MM-dd HH:mm:ss确认，即可将展示效果调整为目标格式。

内容的提问来源于stack exchange，提问作者bigDataArtist