PySpark替换日期列空值为12/31/1900失败的原因及解决方法

如下代码无法将日期列中的空值替换为12/31/1900，定位代码问题并给出可落地的修复方案。

场景约束 #

• 源数据加载为PySpark DataFrame df，Order_date列原始值为MM/dd/yyyy格式的字符串
• 数据写入目标为Azure SQL DB表，表中Order_date列必须为date类型
• 现有代码可正常执行写入，但空值未按要求替换
• 曾尝试的when写法触发类型报错：Dataframe列类型为StringType，目标列类型为DateType，错误代码片段：

.withColumn("Order_date",F.when(df.Order_date.isNull(),to_date(lit("12/31/1900"),"'MM/dd/yyyy'")).otherwise(df.Order_date))

原有问题代码 #

from pyspark.sql import functions as F
......
df1 = df.withColumn("CustomerID", df.CustomerID.cast(IntegerType())) \
 .withColumn("Order_date", F.to_date(col('Order_date'), 'MM/dd/yyyy'))

df2 = df1.fillna({'Order_date': '12/31/1900'})

#load df2 into SQL table
df2.write(.....)

• 核心问题是类型不匹配：df1中Order_date经F.to_date转换后已经是DateType，后续fillna传入的替换值是字符串'12/31/1900'，PySpark的fillna不会做隐式类型转换，类型不匹配时替换逻辑静默失效，不会抛出显性报错，因此空值保留。
• 之前尝试的when写法存在两个错误：一是to_date的格式参数多套了一层单引号，写成"'MM/dd/yyyy'"不符合格式要求；二是otherwise分支直接返回原始字符串类型的df.Order_date，和when分支返回的DateType类型不一致，Spark自动将整列类型推导为StringType，最终触发写入时的类型不匹配报错。

两种可正常运行的写法，任选其一即可：

写法1：修正fillna逻辑，保证替换值类型匹配 #

替换值提前转为DateType，和列类型保持一致：

from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType

df1 = df.withColumn("CustomerID", df.CustomerID.cast(IntegerType())) \
        .withColumn("Order_date", F.to_date(F.col("Order_date"), "MM/dd/yyyy"))

# 构造和列类型一致的默认日期值
default_order_date = F.to_date(F.lit("12/31/1900"), "MM/dd/yyyy")
df2 = df1.fillna({"Order_date": default_order_date})

# 正常执行写入即可
df2.write(.....)

写法2：用coalesce一次性完成类型转换+空值填充 #

coalesce会返回参数列表中第一个非空值，天然适合空值默认值填充场景，且能保证全部分支类型统一：

from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType

df_processed = df.withColumn("CustomerID", df.CustomerID.cast(IntegerType())) \
        .withColumn(
            "Order_date",
            F.coalesce(
                F.to_date(F.col("Order_date"), "MM/dd/yyyy"),
                F.to_date(F.lit("12/31/1900"), "MM/dd/yyyy")
            )
        )

# 无需额外fillna，直接写入
df_processed.write(.....)

• PySpark中处理列操作时，同一列的所有分支返回值必须保证数据类型一致，禁止混合字符串、日期、数值类型，否则会出现类型推导错误。
• fillna不会做隐式类型转换，替换值类型必须和目标列类型完全匹配，否则替换逻辑会静默失效。
• 调用F.to_date时，格式参数直接传入标准日期格式字符串即可，不要额外添加单引号。

内容的提问来源于stack exchange，提问作者nam