PySpark：将特殊格式的日期字符串转换为日期类型

你之前转换失败的核心是格式串符号使用错误，PySpark的日期格式规则和Python标准库存在细节差异，具体修正方案如下：

关键错误点 #

• 月份必须用大写MM，小写mm在PySpark里代表分钟，这是导致解析失败的主要原因
• 毫秒部分用SSS即可（你的字符串是三位毫秒值.086），无需使用SSSS

正确实现方法 #

方法1：直接用to_date提取日期

如果只需要保留年月日的日期类型，直接用修正后的格式串调用to_date：

from pyspark.sql.functions import to_date

# 假设数据框为df，日期字符串列名为date_str
df = df.withColumn("converted_date", to_date("date_str", "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"))

方法2：先转Timestamp再转Date（适合需处理时区/时间的场景）

若需要先处理时间信息，可先将字符串转为Timestamp类型，再转换为Date：

from pyspark.sql.functions import to_timestamp

# 第一步：转为Timestamp类型
df = df.withColumn("timestamp_col", to_timestamp("date_str", "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"))
# 第二步：转为Date类型
df = df.withColumn("converted_date", df.timestamp_col.cast("date"))

验证结果 #

执行上述代码后，converted_date列会被解析为2022-07-08这类标准Date类型值，完全符合需求。

内容的提问来源于stack exchange，提问作者Thadeu Melo