Spark SQL字符串转Timestamp时如何保留原时区格式？

核心原因 #

Spark默认的Timestamp类型是无时区信息的：当你用to_timestamp处理带时区的字符串时，Spark会先将该时间转换为UTC时间戳存储，查询展示时则根据当前会话的时区进行转换，因此原时区信息会丢失。

可行解决方案（Spark 3.0+） #

使用Spark提供的to_timestamp_tz函数，它会生成带时区的TimestampWithTimeZone类型，能够完整保留原时间的时区信息。

Spark SQL示例

spark.sql("select to_timestamp_tz('2023-06-07T16:10:38.123+01:00', 'yyyy-MM-dd\'T\'HH:mm:ss.SSSXXX') as timestamp_with_tz").show(truncate=false)

执行后输出会保留时区：

+-----------------------------+
|timestamp_with_tz            |
+-----------------------------+
|2023-06-07 16:10:38.123 +0100|
+-----------------------------+

DataFrame API示例（Scala）

import org.apache.spark.sql.functions.to_timestamp_tz

val rawDF = spark.createDataFrame(Seq(("2023-06-07T14:10:38.123+01:00",))).toDF("raw_ts")
val resultDF = rawDF.withColumn("ts_with_tz", to_timestamp_tz($"raw_ts", "yyyy-MM-dd'T'HH:mm:ss.SSSXXX"))
resultDF.show(truncate=false)

低版本Spark（<3.0）的替代方案 #

如果你的Spark版本低于3.0，原生不支持带时区的Timestamp类型，可通过以下方式折中处理：

• 将时区信息从原字符串中单独提取为一个独立字段，与转换后的Timestamp字段并存
• 保留原时间字符串的同时，生成对应的Timestamp字段，需要时区信息时直接读取原字符串

内容的提问来源于stack exchange，提问作者TusharK