如何在PySpark中将距今超80年的日期列设为Null？

要实现需求，核心是先将字符串日期转换为可计算的日期类型，再通过日期阈值判断来决定保留原日期还是设为Null，具体步骤如下：

1. 准备测试数据 #

先创建包含示例日期的DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, current_date, when, expr, to_date

spark = SparkSession.builder.appName("DateFilterDemo").getOrCreate()

# 示例输入数据
sample_data = [("24-08-1997",), ("14-06-1929",)]
df = spark.createDataFrame(sample_data, ["retirement-date"])

2. 核心处理逻辑 #

通过以下步骤完成过滤：

• 将字符串格式的retirement-date转换为PySpark日期类型（格式为dd-MM-yyyy）
• 计算当前日期往前推80年的阈值日期（自动处理闰年，比按天计算更准确）
• 使用条件判断：若原日期转换后晚于等于阈值，保留原字符串；否则设为Null

代码实现：

# 计算80年前的阈值日期
cutoff_date = current_date() - expr("interval 80 years")

# 处理目标列，替换超过80年的日期为Null
processed_df = df.withColumn(
    "retirement-date",
    when(
        to_date(col("retirement-date"), "dd-MM-yyyy") >= cutoff_date,
        col("retirement-date")
    ).otherwise(None)
)

# 查看结果
processed_df.show()

输出结果 #

假设当前日期为2024年，执行后输出如下：

+---------------+
|retirement-date|
+---------------+
|     24-08-1997|
|           null|
+---------------+

注意事项 #

• 如果你的retirement-date列已经是PySpark日期类型，直接去掉to_date转换即可，用原列参与条件判断
• interval 80 years是Spark 2.3+支持的语法，若版本较低，可改用add_months(current_date(), -80*12)计算阈值日期

内容的提问来源于stack exchange，提问作者Saniya