PySpark to_timestamp时区缩写转换异常及适配方法咨询

异常原因 #

你遇到的问题核心在于时区缩写的歧义性：IST并非唯一对应印度标准时间（UTC+5:30），它还可以指代以色列标准时间（UTC+2）、爱尔兰标准时间（UTC±0）等。PySpark底层依赖Java的日期解析库，默认将IST解析为以色列标准时间（UTC+2），所以2024-09-20 19:00:00IST转UTC时区后得到17:00:00（19-2=17），这就是结果异常的根源。

解决方法（仅用时区缩写） #

由于无法使用偏移量或标准时区ID，只能通过手动映射时区缩写到对应偏移量的方式来实现正确解析，推荐用自定义UDF处理：

步骤1：编写自定义解析UDF #

from pyspark.sql.functions import udf, to_timestamp
from pyspark.sql.types import TimestampType

def parse_time_with_timezone_abbr(time_str):
    # 手动映射时区缩写到对应偏移量，这里仅处理IST示例
    if "IST" in time_str:
        # 将IST替换为印度标准时间的偏移量+0530
        adjusted_time_str = time_str.replace("IST", "+0530")
        return to_timestamp(adjusted_time_str, "yyyy-MM-dd HH-mm-ssZ")
    # 可扩展添加其他时区缩写的映射规则
    return None

# 注册UDF
parse_time_udf = udf(parse_time_with_timezone_abbr, TimestampType())

步骤2：在查询中使用UDF #

用DataFrame API调用：

df = spark.createDataFrame([("2024-09-20 19-00-00IST",)], ["time_str"])
df.withColumn("ist_abbreviation", parse_time_udf(df["time_str"])).show()

或者在SQL中使用（需先注册UDF到Spark SQL）：

CREATE TEMPORARY FUNCTION parse_time_udf AS 'your.package.parse_time_with_timezone_abbr';

SELECT 
    to_timestamp("2024-09-20 19-00-00+0530","yyyy-MM-dd HH-mm-ssZ") as ist_offset,
    parse_time_udf("2024-09-20 19-00-00IST") as ist_abbreviation

替代方案（不推荐） #

通过修改JVM系统属性强制指定时区映射，但这种方式会影响全局解析逻辑，集群环境下通常无法操作，且灵活性差，不建议使用。

内容的提问来源于stack exchange，提问作者pkd