如何在PySpark中为变量使用NVL？处理Hive空表默认日期需求

方法一：聚合阶段直接处理null（推荐） #

在聚合时用coalesce函数，直接将max(date)的null结果替换成指定默认日期，一步到位：

from pyspark.sql import functions as F

# 替换成你的Hive表名
df1 = spark.table("your_hive_table")
# coalesce返回第一个非null值，表为空时自动取"2022-01-01"
max_date_row = df1.agg(F.coalesce(F.max(F.col("date")), F.lit("2022-01-01"))).collect()[0]
max_date_to = max_date_row[0]

如果你的date字段是DateType，lit("2022-01-01")会自动转为日期类型；如果需要字符串格式，可加上类型转换：F.lit("2022-01-01").cast("string")

方法二：获取结果后判断处理 #

如果不想改动聚合逻辑，可在拿到结果后判断是否为None，再替换默认值：

from pyspark.sql import functions as F

df1 = spark.table("your_hive_table")
max_date_result = df1.agg(F.max(F.col("date"))).collect()[0].asDict()['max(date)']
# 结果为None时替换成目标日期
max_date_to = max_date_result if max_date_result is not None else "2022-01-01"

内容的提问来源于stack exchange，提问作者dev_code