Spark如何输出带时区的Timestamp类型列？

源数据来自Teradata，包含带时区的时间戳列，示例值：

9999.12.31 10:15:00+03:00
9999.12.31 10:15:00+05:30
9999.12.31 10:15:00+03:00

需要在Spark SQL读取、存储为DataFrame时保留时区信息，且列类型为带时区的时间戳。但原代码使用to_timestamp函数后时区丢失：

df = spark.sql("""select to_timestamp('9999.12.31 10:15:00+03:00', 
                                      "yyyy.MM.dd HH:mm:ss")""")

输出结果丢失时区：

9999.12.31 10:15:00
9999.12.31 10:15:00
9999.12.31 10:15:00

核心原因 #

原代码存在两个关键问题：

• to_timestamp函数生成的是不带时区的Timestamp类型，会直接忽略输入字符串中的时区信息；
• 格式字符串yyyy.MM.dd HH:mm:ss未包含时区匹配占位符，Spark无法识别并解析时区部分。

解决步骤 #

Spark 3.0及以上版本支持带时区的时间戳类型（timestamp_tz），对应使用to_timestamp_tz函数，同时修改格式字符串匹配时区部分：

1. 修改转换函数与格式字符串 #

使用to_timestamp_tz，格式字符串添加XXX（匹配±HH:mm格式的时区偏移）：

df = spark.sql("""select to_timestamp_tz('9999.12.31 10:15:00+03:00', 
                                         "yyyy.MM.dd HH:mm:ssXXX")""")

2. 验证结果 #

执行后输出将完整保留原始时区信息：

9999-12-31 10:15:00+03:00
9999-12-31 10:15:00+05:30
9999-12-31 10:15:00+03:00

3. 确认列类型 #

查看DataFrame列类型，会显示为timestamp_tz（带时区的时间戳类型）：

print(df.dtypes)
# 输出：[('to_timestamp_tz(...)', 'timestamp_tz')]

后续ETL与存储注意事项 #

• 存储到Hive仓库时，需确保表结构对应列的类型为timestamp with timezone，Spark会自动映射为timestamp_tz；
• 使用Parquet等支持复杂类型的存储格式，可完整保留带时区的时间戳信息；
• 若直接从Teradata通过JDBC读取，可在JDBC配置中指定timestampFormat为yyyy.MM.dd HH:mm:ssXXX，让Spark直接解析为timestamp_tz类型，避免二次转换。

内容的提问来源于stack exchange，提问作者Rocky1989