Spark/Databricks SQL输出Timestamp时区缺失/错误问题咨询

Spark SQL（Databricks Runtime内置版本逻辑一致）的TIMESTAMP类型本身不绑定任何时区属性，本质存储的是从UTC纪元零点开始计算的时间偏移数值。所有内置时间格式化函数渲染时区标识时，默认只会读取Spark会话全局配置的spark.sql.session.timeZone参数值计算偏移，完全不会感知from_utc_timestamp()传入的目标时区参数。这也是时间值换算正确、但格式化输出的时区标识永远显示UTC/会话默认时区的核心原因，属于类型设计层面的固有逻辑，不是函数调用错误。

不需要修改全局Spark时区配置，基于已有的UTC原始时间、对应时区字段两个输入，即可批量输出带正确时区标识的标准时间字符串，适配不同版本环境和输出需求：

方案1：输出带±HHMM数字偏移的ISO 8601格式时间 #

高版本简化写法（Spark 3.0+/Databricks Runtime 7.0+） #

当前绝大多数Databricks集群都满足版本要求，date_format原生支持传入第三个参数指定格式化所用时区，一步即可输出正确的时间值和偏移量，不受全局会话时区影响，性能最优：

SELECT
  createTimestampUTC,
  v.timezone,
  -- 直接传入原始UTC时间戳、格式串、目标时区，自动完成时间换算和偏移渲染
  date_format(createTimestampUTC, "yyyy-MM-dd'T'HH:mm:ss Z", v.timezone) AS createTimestampLocal
FROM your_table v

注意：该写法不要提前用from_utc_timestamp转换时间值，直接传入原始UTC时间戳即可，否则会出现时间值重复偏移的错误。

低版本兼容写法（无版本要求） #

如果使用的Spark版本不支持date_format传第三时区参数，通过「换算本地时间+单独计算对应时间点偏移+字符串拼接」的逻辑实现即可，可自动适配夏令时切换场景，偏移量计算100%准确：

SELECT
  createTimestampUTC,
  v.timezone,
  concat(
    -- 第一部分：换算得到目标时区的本地时间值，不带时区标识
    date_format(from_utc_timestamp(createTimestampUTC, v.timezone), "yyyy-MM-dd'T'HH:mm:ss"),
    -- 第二部分：计算当前时间点在目标时区的UTC偏移，格式为±HHMM
    date_format(from_utc_timestamp(createTimestampUTC, v.timezone), "Z")
  ) AS createTimestampLocal
FROM your_table v

方案2：输出带时区名称/缩写的时间格式 #

如果需要输出IANA时区名（如Asia/Shanghai/America/New_York）或自定义时区缩写，不要使用z/O这类依赖全局时区的格式符，直接将存储的时区字段（或提前维护的时区缩写映射值）拼接到格式化后的本地时间字符串末尾即可，逻辑可控无兼容问题：

SELECT
  createTimestampUTC,
  v.timezone,
  concat(
    date_format(from_utc_timestamp(createTimestampUTC, v.timezone), "yyyy-MM-dd'T'HH:mm:ss "),
    -- 若需要短缩写，替换为关联维表得到的缩写字段即可
    v.timezone
  ) AS createTimestampLocal
FROM your_table v

• 不要尝试通过SET spark.sql.session.timeZone动态修改全局时区适配多行不同时区值，该参数为会话级全局生效，同一批次查询只能对应一个时区，完全无法满足批量多时区转换需求。
• 不要将转换后的带时区时间存储为TIMESTAMP类型，只要落为TIMESTAMP类型就会丢失关联的时区信息，需要保留时区标识的场景直接输出为字符串类型即可。

内容的提问来源于stack exchange，提问作者T. Shaffner