unittest的TestCase中PySpark时间戳时区偏移问题及解决

首先明确：unittest的TestCase类本身没有时区敏感性，问题出在测试环境与Notebook的PySpark会话配置差异，尤其是时区参数的默认值不同。

核心原因 #

你的测试环境中Spark会话默认使用了UTC时区，而Notebook里的Spark会话可能配置了本地时区（比如GMT+2），导致时间戳解析/显示时出现2小时的偏移。当你在Notebook中执行时，Spark用了本地时区处理时间；但在unittest的setUp里，Spark会话默认用UTC，所以原本的00:00:00会被转成UTC的22:00:00（对应GMT+2的前一天晚上）。

解决方法 #

1. 显式配置Spark会话的时区 #

在setUp方法初始化SparkSession时，强制指定目标时区，和Notebook保持一致：

from pyspark.sql import SparkSession
import unittest

class TestSparkDataFrameOps(unittest.TestCase):
    def setUp(self):
        # 初始化SparkSession时指定时区
        self.spark = SparkSession.builder \
            .master("local[*]") \
            .appName("SparkTest") \
            .config("spark.sql.session.timeZone", "Europe/Paris")  # 替换为你的目标时区
            .getOrCreate()
        
        # 构建测试数据
        test_data = [("2024-05-20 00:00:00",)]
        raw_df = self.spark.createDataFrame(test_data, ["time"])
        self.test_df = raw_df.withColumn("time", raw_df["time"].cast("timestamp"))

2. 解析时间时显式指定时区 #

如果你的时间字符串是基于某个时区的，不要依赖Spark默认配置，用to_timestamp函数显式指定时区：

from pyspark.sql.functions import to_timestamp

# 示例：将字符串按指定时区解析为timestamp
self.test_df = raw_df.withColumn(
    "time", 
    to_timestamp(raw_df["time"], "yyyy-MM-dd HH:mm:ss", "Europe/Paris")
)

3. 统一系统时区（可选） #

如果Spark会话的时区依赖系统时区，可以在测试代码开头强制设置系统时区：

import os
import time

# Linux/macOS 下设置系统时区
os.environ['TZ'] = 'Europe/Paris'
time.tzset()

# Windows 下可通过修改系统设置，或使用pytz库辅助
# import pytz
# os.environ['TZ'] = pytz.timezone('Europe/Paris').zone

总结 #

关键是消除测试环境与Notebook的Spark配置差异，通过显式指定时区参数，避免依赖默认值。TestCase本身不会影响时区，问题完全来自PySpark的运行环境配置。

内容的提问来源于stack exchange，提问作者andKaae