PySpark将String类型列转为Date类型时出现Null值，求解决方案

常见原因 #

• 日期格式不匹配：Spark的DateType默认仅识别yyyy-MM-dd格式，如果你的modifieddate是带时间戳的格式（如yyyy-MM-dd HH:mm:ss）、或者其他非标准格式（如MM/dd/yyyy），直接用cast(DateType())会转换失败，返回Null。
• 存在脏数据：部分行的modifieddate是空字符串、无效日期（如2023-02-30这类不存在的日期），转换时也会生成Null值。

解决方法 #

1. 处理带时间的日期字符串 #

如果modifieddate包含时间部分，先转成TimestampType再转DateType：

from pyspark.sql.types import TimestampType, DateType

df = df.withColumn("date", df["modifieddate"].cast(TimestampType()).cast(DateType()))

更稳妥的方式是用to_date函数指定完整格式：

from pyspark.sql.functions import to_date

# 替换为你的实际日期格式，比如yyyy-MM-dd HH:mm:ss
df = df.withColumn("date", to_date(df["modifieddate"], "yyyy-MM-dd HH:mm:ss"))

2. 适配自定义日期格式 #

如果日期是MM/dd/yyyy、dd-MM-yyyy这类非标准格式，直接在to_date里指定对应格式即可：

# 示例：格式为dd-MM-yyyy
df = df.withColumn("date", to_date(df["modifieddate"], "dd-MM-yyyy"))

3. 排查并处理脏数据 #

先筛选出转换失败的行，定位问题数据：

from pyspark.sql.functions import to_date

# 替换为你的实际日期格式
invalid_rows = df.withColumn("date", to_date(df["modifieddate"], "你的日期格式")).filter(df["date"].isNull())
invalid_rows.show()

根据结果可以选择过滤脏数据、补全有效日期等操作。

4. 读取CSV时直接指定Schema #

从源头避免转换问题，读取CSV时就定义好正确的Schema，同时指定日期格式：

from pyspark.sql.types import StructType, StructField, StringType, DateType

# 如果modifieddate带时间，把DateType换成TimestampType
schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("modifieddate", DateType(), nullable=True)
])

# dateFormat要和你的实际日期格式匹配
df = spark.read.csv("/mnt/your_mount_path/your_file.csv", header=True, schema=schema, dateFormat="yyyy-MM-dd HH:mm:ss")

内容的提问来源于stack exchange，提问作者Baktha Singh Babu