如何在PySpark中通过withColumn实现日期差计算？

方法一：用Spark内置函数（推荐，效率更高） #

Spark本身提供了完整的日期处理内置函数，完全不需要依赖UDF就能实现需求，而且性能比UDF好很多（内置函数在JVM层面执行，避免Python与JVM的序列化开销）。具体步骤：

1. 先清理Month列末尾的小数点（比如05.转成05）
2. 拼接Year、Month、Day为标准日期字符串，再转成Date类型
3. 将指定日期转成Spark的日期常量，用datediff函数计算差值

代码示例：

from pyspark.sql import functions as F

# 将指定日期转为Spark可识别的Date类型常量
target_date = F.to_date(F.lit("2000-01-01"), "yyyy-MM-dd")

# 处理DataFrame并计算日期差
df_result = df \
    # 清理Month列的末尾小数点
    .withColumn("clean_month", F.regexp_replace(F.col("Month"), r"\.$", "")) \
    # 拼接年/月/日为标准日期字符串，再转成Date类型
    .withColumn("current_date", F.to_date(
        F.concat_ws("-", F.col("Year"), F.col("clean_month"), F.col("Day")),
        "yyyy-MM-dd"
    )) \
    # 计算日期差（datediff是后日期减前日期，即current_date - target_date）
    .withColumn("DATE_DIFF", F.datediff(F.col("current_date"), target_date)) \
    # 清理临时中间列
    .drop("clean_month", "current_date")

df_result.show()

方法二：使用自定义UDF（仅作演示，不推荐） #

如果一定要用UDF实现，需要注意：UDF只能处理Python原生数据类型，所以要先把列值转成字符串、清理小数点后再拼接计算。

代码示例：

from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType
import datetime

# 定义UDF：接收年、月、日，返回与指定日期的天数差
def calc_date_diff(year, month, day):
    # 清理月份的小数点
    clean_month = str(month).rstrip(".")
    # 拼接成标准日期字符串
    date_str = f"{year}-{clean_month}-{day}"
    # 转成Python date对象
    current_date = datetime.datetime.strptime(date_str, "%Y-%m-%d").date()
    target_date = datetime.datetime.strptime("2000-01-01", "%Y-%m-%d").date()
    # 返回天数差
    return (current_date - target_date).days

# 注册UDF
date_diff_udf = F.udf(calc_date_diff, IntegerType())

# 应用UDF到DataFrame
df_result = df.withColumn("DATE_DIFF", date_diff_udf(F.col("Year"), F.col("Month"), F.col("Day")))

df_result.show()

注意事项 #

• 优先用内置函数：大数据量场景下，内置函数的执行效率远高于Python UDF
• 异常值处理：如果数据中存在无效日期（比如2月30日），两种方法都会返回null，可以用F.when或F.coalesce函数处理这类情况
• 格式匹配：确保拼接后的日期字符串严格符合yyyy-MM-dd格式，否则to_date会返回null

内容的提问来源于stack exchange，提问作者NeverSayEver