PySpark 2.0.2提取UTC timestamp日期小时时转本地时间的问题

嘿，我明白你的痛点——用UDF处理T和Z确实够繁琐的，而且UDF的性能远不如内置函数。结合你无法升级PySpark版本的限制，给你两个针对性的更优方案，全程用内置函数解决：

情况1：源字段是带Z的字符串类型（比如2024-05-20T14:30:00Z） #

这种情况下，我们可以直接用unix_timestamp按UTC格式解析字符串，转成UTC时间戳后再转回UTC时区的timestamp类型，最后提取日期和小时：

from pyspark.sql.functions import unix_timestamp, from_utc_timestamp, to_date, hour

# 第一步：将字符串解析为UTC时间戳（秒），转成毫秒后生成UTC时区的timestamp
df = df.withColumn("utc_timestamp", from_utc_timestamp(unix_timestamp("your_ts_column", "yyyy-MM-dd'T'HH:mm:ss'Z'") * 1000, "UTC"))

# 提取UTC日期
df = df.withColumn("utc_date", to_date("utc_timestamp"))

# 提取UTC小时
df = df.withColumn("utc_hour", hour("utc_timestamp"))

为什么这能行？ #

unix_timestamp会按照你指定的格式（包含字面量'Z'）把字符串识别为UTC时间，返回对应的Unix时间戳（秒数）。乘以1000是因为from_utc_timestamp接受毫秒级时间戳，最后生成的utc_timestamp就是纯UTC时区的时间类型，后续提取日期和小时自然就是UTC的结果了。

情况2：源字段已被Spark自动解析为timestamp类型（已转成EDT本地时间） #

如果你的数据读进来就已经是timestamp类型，但Spark默认转成了EDT时区，那我们可以用to_utc_timestamp把它转回到UTC时区，再提取日期和小时：

from pyspark.sql.functions import to_utc_timestamp, to_date, hour

# 将EDT时区的timestamp转成UTC时区（用"America/New_York"更准确，自动处理夏令时）
df = df.withColumn("utc_timestamp", to_utc_timestamp("your_ts_column", "America/New_York"))

# 提取UTC日期和小时
df = df.withColumn("utc_date", to_date("utc_timestamp"))
df = df.withColumn("utc_hour", hour("utc_timestamp"))

注意点 #

用America/New_York代替EDT作为时区参数更稳妥，因为它会自动识别夏令时和标准时间的切换，避免时区转换出错。

这两个方案都完全依赖PySpark 2.0.2的内置函数，不用写复杂的UDF，性能更好，代码也更简洁易维护。

内容的提问来源于stack exchange，提问作者Gopala