Spark校验连续行日期差出现timedelta类型schema推断错误如何解决

解决方案 #

你不需要转RDD处理，直接用Spark内置的datediff函数完成日期差值计算，全程在Spark SQL引擎执行，性能远高于RDD操作，也不会触发类型错误。
完整实现代码如下：

from pyspark.sql import functions as F
from pyspark.sql.window import Window

# 你的现有预处理逻辑
dfu = df.withColumn('user', F.lit('user'))
windowPartition = Window.partitionBy("user").orderBy("START_DATE")
# 这里用lead(1)取后一行的START_DATE语义更直观，和你之前用lag(START_DATE,-1)效果完全一致
df_lag = dfu.withColumn('next_start_date', F.lead(dfu['START_DATE'], 1).over(windowPartition))
df_lag_drp = df_lag.na.drop(subset=["next_start_date"])

# 一步聚合得到全局校验结果
check_result = df_lag_drp.agg(
    # 只要存在任意一行差值不等于1，就返回1，否则返回0
    F.max(
        F.when(
            F.datediff(F.col("next_start_date"), F.col("FINISH_DATE")) != 1,
            1
        ).otherwise(0)
    ).alias("has_invalid")
).head()[0] == 0

check_result就是你要的布尔值，所有行符合规则返回True，否则返回False。

报错原因说明 #

你之前使用RDD map时，两个Date类型的列相减得到的是Python datetime.timedelta类型对象，Spark默认无法推断该类型的schema，所以抛出类型错误。转RDD操作还会带来JVM和Python进程之间的序列化/反序列化开销，数据量大时性能会明显下降，优先使用Spark原生SQL函数处理是最优选择。

优化提示 #

如果你是按用户维度分别校验连续日期，直接把partitionBy("user")中的user替换为实际的用户唯一标识列即可；如果是全局校验全量数据的日期连续性，数据量超大时可以考虑先拆分批次再校验，避免单分区数据倾斜。

内容的提问来源于stack exchange，提问作者Gaurav Gupta