PySpark UDF生成日期范围列表出现时区偏移问题如何解决

时间偏移由时区处理逻辑不一致导致：

1. 未指定tz参数时，pd.date_range生成不带时区信息的朴素时间戳，to_pydatetime()转换后得到的也是无时区的Python原生datetime对象
2. PySpark普通Python UDF处理无时区datetime时，默认按Executor节点系统本地时区做转换，不会读取spark.sql.session.timeZone配置
3. 你的运行环境系统时区为CET（欧洲中部时间，冬令时UTC+1，夏令时UTC+2），和观测到的偏移完全匹配：pd.date_range生成本地时区0点的月末时间，被PySpark误判为UTC时间存储，最终输出就出现固定1小时、夏令时2小时的偏移。

方案1：修复现有UDF（改动量最小） #

只需要在生成日期范围时强制指定UTC时区，让返回的datetime带明确时区信息，PySpark就会按正确的时间解析：

import pandas as pd
import datetime
from typing import List
from pyspark.sql import functions as sf
from pyspark.sql import types as st

def create_date_range_column_factory(frequency: str):
    """生成UDF，按指定频率返回min_date到max_date之间的日期列表"""
    def create_date_range_column(min_date: datetime.datetime, max_date: datetime.datetime) -> List[datetime.datetime]:
        # 强制指定UTC时区，避免系统本地时区干扰转换
        return [
            pdt.to_pydatetime() 
            for pdt in pd.date_range(min_date, max_date, freq=frequency, tz="UTC")
        ]
    return sf.udf(create_date_range_column, st.ArrayType(st.TimestampType()))

# 生成月末频率的日期列表，若需要每月月初请将频率参数改为"MS"
date_range_udf = create_date_range_column_factory("M")
sdf = sdf.withColumn("date_list", date_range_udf(sf.col("min_date"), sf.col("max_date")))

注：你当前用的freq="M"是pandas的月末频率，返回每月最后一天，和你输出里的1月31日、2月29日等结果匹配，如果你的预期是每月1号的日期，请更换频率为"MS"。

方案2：原生Spark实现（无UDF，性能最优） #

Python UDF需要在JVM和Python进程间做数据序列化，性能远差于Spark内置函数。生成日期序列的需求可以直接用Spark内置的sequence函数实现，完全规避时区不一致问题：

from pyspark.sql import functions as sf

# 按月生成序列，日粒度将interval改为1 day即可，可按需调整粒度匹配pandas频率
sdf = sdf.withColumn(
    "date_list",
    sf.sequence(
        sf.col("min_date"),
        sf.col("max_date"),
        sf.expr("interval 1 month")
    )
)

该方案全程在Spark JVM内执行，没有额外序列化开销，也不会受Python进程时区配置影响，是生产环境优先推荐的实现方式。如果需要兼容各类pandas频率字符串，只需要提前做一层频率到Spark interval的映射即可。

内容的提问来源于stack exchange，提问作者Joep Atol