Python/PySpark作业时区问题：PostgreSQL至Delta表PST时区适配

问题核心 #

你的PostgreSQL Aurora中last_updated_timestamp是无时区字段，值为2024-08-01 00:00:00。Spark读取后表面显示正常，但写入Delta（Parquet）后，查看器显示为2024-07-31T18:30:00Z[UTC]——这是因为Spark默认将无时区Timestamp按会话时区解析为UTC时间戳存储，导致查看器展示时出现偏移。你需要将该时间标记为PST时区的2024-08-01 00:00:00，且不能修改全局Spark配置。

解决方案 #

1. 正确标记原时间的时区属性 #

原字段的业务含义是PST时间，所以需要明确告知Spark这一点，而非从UTC转换。使用Spark的to_timestamp结合withTimeZone为目标字段单独指定时区：

from pyspark.sql import functions as F

# 将无时区Timestamp转为字符串，再按PST时区解析为带时区的时间类型
df = df.withColumn(
    "last_updated_timestamp_pst",
    F.to_timestamp(
        F.col("last_updated_timestamp").cast("string"),
        "yyyy-MM-dd HH:mm:ss"
    ).withTimeZone("America/Los_Angeles")  # 使用标准时区ID，PST对应America/Los_Angeles
)

2. 验证效果 #

执行以下代码查看转换结果：

df.select("last_updated_timestamp_pst").show(truncate=False)

输出应显示为：2024-08-01 00:00:00 America/Los_Angeles。写入Delta表后，Parquet查看器会识别到时区信息，显示为2024-08-01T00:00:00-08:00[America/Los_Angeles]（即PST时区的目标时间）。

3. 关键注意事项 #

• 不要使用from_utc_timestamp：该函数是将UTC时间转换为目标时区，而你的原时间本身就是PST，并非UTC，所以之前的代码逻辑完全反向。
• 用标准时区ID而非缩写：PST是缩写，建议使用America/Los_Angeles避免夏令时等时区规则混淆。
• 仅修改目标列：通过withTimeZone为单个字段指定时区，不会影响其他进程的Spark会话配置。

内容的提问来源于stack exchange，提问作者Sourabh Bidikar