Databricks中to_timestamp无法解析SQL Server的datetimeoffset字段

针对你遇到的datetimeoffset类型数据解析问题，结合Spark 3.5.0的特性，提供以下几种可行方案：

方案1：使用正确的格式字符串+to_timestamp_tz函数 #

Spark 3.0+采用Java DateTimeFormatter解析时间字符串，你的示例日期4/15/2020 3:09:50 PM -07:00对应的格式符需要适配单/双数字月日、12小时制+AM/PM、带冒号的时区偏移，同时用to_timestamp_tz替代to_timestamp来保留时区信息（更贴合SQL Server datetimeoffset的语义）。

代码示例：

from pyspark.sql.functions import to_timestamp_tz

# 假设原始字段名为raw_datetimeoffset
df = df.withColumn(
    "parsed_timestamp_tz",
    to_timestamp_tz("raw_datetimeoffset", "M/d/yyyy h:mm:ss a XXX")
)

• M：匹配单/双数字月份（如4或04）
• d：匹配单/双数字日期（如15或05）
• h：12小时制小时数（如3或03）
• a：匹配AM/PM标记
• XXX：匹配±HH:mm格式的时区偏移（如-07:00）

执行后会生成带时区信息的TimestampWithTimeZone类型字段，下游分析可直接基于时区进行转换或计算。

方案2：正则预处理偏移格式后解析 #

如果方案1仍存在解析失败的情况，可先通过正则表达式标准化时区偏移部分的格式（去掉偏移中的冒号），再用Z格式符解析：

代码示例：

from pyspark.sql.functions import regexp_replace, to_timestamp_tz

# 先清理时区偏移中的冒号，将" -07:00"转为"-0700"
df = df.withColumn(
    "cleaned_dt_str",
    regexp_replace("raw_datetimeoffset", " ([+-]\\d{2}):(\\d{2})$", "$1$2")
)

# 用Z格式符解析标准化后的字符串
df = df.withColumn(
    "parsed_timestamp_tz",
    to_timestamp_tz("cleaned_dt_str", "M/d/yyyy h:mm:ss a Z")
)

方案3：JDBC读取阶段优化（可选） #

如果不想在Spark层处理格式，可尝试调整SQL Server JDBC连接参数，让驱动直接处理datetimeoffset类型：
在JDBC URL中添加datatypeConversion=false，同时通过customSchema指定字段为字符串类型，确保原始格式完整传入Spark：

jdbc_url = "jdbc:sqlserver://<server>:<port>;databaseName=<db>;datatypeConversion=false"
df = spark.read.format("jdbc")\
    .option("url", jdbc_url)\
    .option("dbtable", "<table>")\
    .option("user", "<user>")\
    .option("password", "<password>")\
    .option("customSchema", "cdc_datetimeoffset STRING")\
    .load()

关键说明 #

• 避免使用ZZZZZ格式符：它对应时区名称（如America/Los_Angeles），而非数值型偏移，不匹配你的数据格式。
• TimestampWithTimeZone类型：Spark会将其内部存储为UTC时间，但保留时区元数据，下游可通过date_format或convert_timezone函数转换为目标时区的时间。

内容的提问来源于stack exchange，提问作者Shane McGarry