如何将带空格分隔时区偏移的字符串转换为PySpark timestamp类型
根因分析
原始时间字符串的毫秒值和时区偏移量之间存在一个多余空格,你之前使用的格式串未匹配该空格,导致时间解析失败返回null。
可行解决方案
两种方案均不会修改原始ts字段,仅在生成转换后的时间字段时做逻辑处理:
方案1:预处理移除空格后转换(兼容性更强,无需手动写格式串)
通过正则替换移除毫秒和时区偏移之间的空格,再调用to_timestamp自动解析:
from pyspark.sql.functions import regexp_replace, to_timestamp df = df.withColumn('cast', to_timestamp(regexp_replace('ts', r' (?=[+-]\d+:)','')) )
执行后查询结果:
[Row(ts='2003-01-01 02:00:00.0 -8:00', cast=datetime.datetime(2003, 1, 1, 11, 0))]
方案2:直接写匹配空格的格式串
在格式串的毫秒标识后加空格,同时使用XXX匹配带冒号的时区偏移格式:
from pyspark.sql.functions import to_timestamp df = df.withColumn('cast', to_timestamp('ts', 'yyyy-MM-dd HH:mm:ss.S XXX') )
转换效果和方案1完全一致。
内容的提问来源于stack exchange,提问作者Ondra
相关产品推荐
相关产品推荐

