You need to enable JavaScript to run this app. 如何将带空格分隔时区偏移的字符串转换为PySpark timestamp类型
优惠活动
大模型
产品
解决方案
定价
更多

如何将带空格分隔时区偏移的字符串转换为PySpark timestamp类型

根因分析

原始时间字符串的毫秒值和时区偏移量之间存在一个多余空格,你之前使用的格式串未匹配该空格,导致时间解析失败返回null。

可行解决方案

两种方案均不会修改原始ts字段,仅在生成转换后的时间字段时做逻辑处理:

方案1:预处理移除空格后转换(兼容性更强,无需手动写格式串)

通过正则替换移除毫秒和时区偏移之间的空格,再调用to_timestamp自动解析:

from pyspark.sql.functions import regexp_replace, to_timestamp

df = df.withColumn('cast', 
    to_timestamp(regexp_replace('ts', r' (?=[+-]\d+:)',''))
)

执行后查询结果:

[Row(ts='2003-01-01 02:00:00.0 -8:00', cast=datetime.datetime(2003, 1, 1, 11, 0))]

方案2:直接写匹配空格的格式串

在格式串的毫秒标识后加空格,同时使用XXX匹配带冒号的时区偏移格式:

from pyspark.sql.functions import to_timestamp

df = df.withColumn('cast', 
    to_timestamp('ts', 'yyyy-MM-dd HH:mm:ss.S XXX')
)

转换效果和方案1完全一致。


内容的提问来源于stack exchange,提问作者Ondra

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 09:36:03