Spark解析带时区字符串为Timestamp并保留时区偏移的问题问询

首先，你遇到返回null的原因很明确：指定的格式字符串和输入的时间字符串不匹配。你的输入字符串包含时区偏移部分+01:00，但你用的格式"yyy-MM-ddTHH:mm:ss"完全没有覆盖这部分内容，Spark自然无法完成解析，只能返回null。

下面给出两种正确解析的方式，以及如何保留时区偏移信息的方案：

1. 使用匹配时区偏移的格式字符串 #

Spark的to_timestamp函数支持识别时区偏移的格式符，针对你输入的+01:00这种带冒号的偏移格式，你可以使用XXX作为格式符（对应ISO 8601的时区偏移格式）。

示例代码：

Seq("2018-03-21T08:15:00+01:00").toDF("value")
  .select(
    'value,
    to_timestamp('value, "yyyy-MM-dd'T'HH:mm:ssXXX").alias("parsed_timestamp")
  )
  .show(false)

执行后会得到正确的解析结果，Spark会自动将带偏移的时间转换为对应的UTC时间存储在TimestampType字段中（Spark 3.0+的TimestampType会保留时区上下文，旧版本则存储为UTC时间戳）。

2. 利用Spark的自动ISO 8601解析能力 #

你的输入字符串是标准的ISO 8601格式，Spark的to_timestamp函数可以自动识别这种格式，不需要手动指定格式字符串：

示例代码：

Seq("2018-03-21T08:15:00+01:00").toDF("value")
  .select(
    'value,
    to_timestamp('value).alias("parsed_timestamp")
  )
  .show(false)

这种方式更简洁，适合处理标准ISO 8601格式的时间字符串。

3. 保留原始时区偏移信息 #

需要注意的是，Spark的TimestampType（或TimestampNTZType）本身并不存储原始的时区偏移值，它只存储对应的时间戳。如果你想要保留+01:00这个偏移信息，可以通过字符串提取的方式单独获取：

示例代码：

Seq("2018-03-21T08:15:00+01:00").toDF("value")
  .select(
    'value,
    to_timestamp('value).alias("parsed_timestamp"),
    // 从字符串末尾提取偏移部分
    substring('value, 20, 6).alias("timezone_offset")
  )
  .show(false)

或者使用正则表达式更灵活地提取：

import org.apache.spark.sql.functions.regexp_extract

Seq("2018-03-21T08:15:00+01:00").toDF("value")
  .select(
    'value,
    to_timestamp('value).alias("parsed_timestamp"),
    regexp_extract('value, "([+-]\\d{2}:\\d{2})$", 1).alias("timezone_offset")
  )
  .show(false)

这样就能同时得到解析后的时间和原始的时区偏移信息了。

内容的提问来源于stack exchange，提问作者Georg Heiler