Pyspark DataFrame写入SQL Server时datetime字段值变更如何处理

问题原因 #

Spark默认会使用JVM/集群配置的时区处理datetime类型数据，通过JDBC写入SQL Server时，会自动将时间转换为UTC时间后存储，导致原始时间被叠加时区偏移量。

可行解决方案 #

• 方案1：统一Spark会话时区为UTC
  创建SparkSession时显式指定时区为UTC，避免Spark侧做时区转换，代码示例：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("WriteToSQLServer") \
      .config("spark.sql.session.timeZone", "UTC") \
      .getOrCreate()
  

• 方案2：写入前转换datetime为对齐格式的字符串
  将要写入的datetime字段转换为yyyy-MM-dd HH:mm:ss格式的字符串，JDBC驱动会直接映射到SQL Server的datetime类型，不会触发时区转换，代码示例：

  from pyspark.sql.functions import date_format
  
  # 替换your_datetime_col为实际的时间字段名
  df = df.withColumn("your_datetime_col", date_format("your_datetime_col", "yyyy-MM-dd HH:mm:ss"))
  

• 方案3：添加JDBC连接时区配置
  在SQL Server的JDBC连接URL中添加时区相关参数，禁止驱动自动转换时间：
  示例URL：
  jdbc:sqlserver://<你的数据库地址>:<端口>;databaseName=<库名>;user=<用户名>;password=<密码>;serverTimezone=UTC;useJDBCCompliantTimezoneShift=false;useLegacyDatetimeCode=false;encrypt=false
• 方案4（Spark3.x+适用）：启用Java8 datetime API
  创建SparkSession时添加配置，使用更稳定的Java 8时间API处理datetime：
  config("spark.sql.datetime.java8Api.enabled", "true")

注意事项 #

• 不要同时配置多套时区转换规则，否则可能出现二次偏移的问题，优先选择1种方案测试验证。
• 写入前可先采样打印DataFrame中的时间值，和写入后SQL Server的查询结果做对比，确认数值一致。

内容的提问来源于stack exchange，提问作者MKG