Parquet转CSV后日期值变更，配置Spark参数未生效问题求助

DevOps 小满

2026-10-6

Parquet转CSV早期日期偏移解决方案

该问题由Spark处理公元元年前后日期时，儒略历与格里高利历的转换逻辑冲突导致，可尝试以下方案解决：

调整日期重基参数匹配读写逻辑
你当前使用的读LEGACY、写CORRECTED的参数组合会导致两端日期转换逻辑不一致，可根据Parquet文件的生成版本统一参数：
- 若源Parquet文件由Spark 3.0+版本生成，读写两端均配置为CORRECTED：
```
spark.sql.legacy.parquet.datetimeRebaseModeInRead CORRECTED
spark.sql.legacy.parquet.datetimeRebaseModeInWrite CORRECTED
```
- 若源Parquet文件由Spark 2.x或其他非Spark工具生成，读写两端均配置为LEGACY：
```
spark.sql.legacy.parquet.datetimeRebaseModeInRead LEGACY
spark.sql.legacy.parquet.datetimeRebaseModeInWrite LEGACY
```
统一时区配置，避免时区偏移
强制Spark会话时区为UTC，避免隐式时区转换导致的日期偏移：
```
spark.sql.session.timeZone UTC
```
写入CSV时显式指定日期格式，进一步减少转换误差：
```
df.write
  .option("dateFormat", "yyyy-MM-dd")
  .option("header", "true")
  .csv("s3://你的输出路径")
```

字段显式转换绕过内部日期逻辑
如果参数调整无效，可在读入数据后先将日期字段转为字符串格式，完全绕过Spark内部的日期重基逻辑：

import org.apache.spark.sql.functions.date_format

val sourceDf = spark.read.parquet("s3://你的源文件路径")
val processedDf = sourceDf.withColumn("你的日期字段名", date_format($"你的日期字段名", "yyyy-MM-dd"))
processedDf.write.csv("s3://你的输出路径")