Spark/Scala写入Parquet时夏令时(DST)时间偏移问题咨询

我们使用Spark/Scala将SQL Server的数据写入AWS S3上的Parquet文件时，遇到夏令时(DST)时间自动延迟1小时的问题：源端的2011-09-20 00:00:00.000会被转换为2011-09-19 23:00:00.000。

环境信息 #

• 数据来源：SQL Server
• 写入目标：AWS S3

执行代码 #

val ssdf= spark.read.format("jdbc")
  .option("driver" , "${ssDriver}")
  .option("url", "${ssConnectionString}")
  .option("dbtable", "${SCHEMANAME}.${RESULTTABLENAME}")
  .option("user", "${ssUsername}")
  .option("password", "${ssPassword}")
  .load()

ssdf.write.format("parquet")
  .mode("overwrite")
  .option("header", "true")
  .save("s3://targetS3path/")

代码运行正常，但夏令时对应的日期时间会延迟1小时，期望保留源端时间值，即2011-09-20 00:00:00.000。

内容的提问来源于stack exchange，提问作者Arnab Das