PySpark字符串转Timestamp结果为空问题求助

问题根源 #

你的转换代码返回空值，是因为格式字符串与实际字符串的结构不匹配：

• 目标字符串格式为2023-07-19T00:00Z，仅包含「年-月-日T时:分Z」，没有秒部分
• 你使用的格式串yyyy-MM-dd'T'HH:mm:ss'Z'强制要求秒（ss）存在，Spark无法匹配时就返回空值

两种可行解决方案 #

方案1：使用精准匹配的格式字符串

直接调整格式串，去掉多余的秒部分，to_timestamp本身会返回Timestamp类型，无需额外cast：

from pyspark.sql.functions import to_timestamp

df = df.withColumn("joiningdate", to_timestamp(df["joiningdate"], "yyyy-MM-dd'T'HH:mm'Z'"))

方案2：利用Spark自动解析标准ISO格式

你的字符串属于标准ISO 8601 UTC格式，Spark的to_timestamp可以自动识别这种格式，无需指定格式参数：

from pyspark.sql.functions import to_timestamp

df = df.withColumn("joiningdate", to_timestamp(df["joiningdate"]))

验证结果 #

执行以下代码查看转换后的类型和格式化结果：

df.select(
    "joiningdate",
    df["joiningdate"].cast("string").alias("formatted_timestamp")
).show()

输出示例：

+-------------------+---------------------+
|       joiningdate|formatted_timestamp|
+-------------------+---------------------+
|2023-07-19 00:00:00|     2023-07-19 00:00:00|
+-------------------+---------------------+

内容的提问来源于stack exchange，提问作者Manish