spark.createDataFrame转换UTC时区datetime列时日期异常的解决问询

问题原因 #

你遇到的日期偏移核心是Spark的TimestampType不存储时区信息，PySpark转换带时区的Pandas datetime时，会默认把UTC时间转成Spark会话的本地时区。如果你的本地时区比UTC晚（比如西半球时区），UTC的00:00就会变成前一天的本地时间，最终导致日期显示偏移一天。

你的Pandas date列是datetime64[ns, UTC]类型，转成Spark后自动变为TimestampType，但时区信息丢失，被按会话时区解析，才出现2022-10-01 UTC变成2022-09-30的情况。

解决方案 #

方案1：统一Spark会话时区为UTC #

创建SparkSession时强制设置时区为UTC，让所有时间转换以UTC为基准，避免偏移：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("your_app_name") \
    .config("spark.sql.session.timeZone", "UTC") \
    .getOrCreate()

之后再执行spark.createDataFrame(df)，date列的日期就会和原Pandas数据一致。

方案2：移除Pandas datetime的时区信息 #

转换前把Pandas的带时区datetime转成无时区的本地datetime：

df['date'] = df['date'].dt.tz_localize(None)
df_dates = spark.createDataFrame(df)

这样Spark读取的是纯datetime值，不会触发时区转换，日期能保持正确。

关于“转timestamp类型能否消除异常”的说明 #

你当前转换后Spark的date列已经是TimestampType了，问题不在类型本身，而是时区处理。如果在Pandas里先把datetime转成Unix时间戳数值（比如df['date'] = df['date'].astype(int) // 10**9），再转Spark后转成TimestampType，确实能避免偏移，但操作起来不如上面两种方案直接。

为什么CSV导出再读取正常？ #

导出CSV时，带时区的datetime会被序列化为纯日期字符串（比如2022-10-01），读取后是object类型，Spark会自动识别为DateType或TimestampType，此时字符串日期不会因为时区转换而偏移，所以结果正常。

内容的提问来源于stack exchange，提问作者user177196