Apache Spark 同列按Id分区计算相邻行日期间隔代码问题排查

问题原因与修复方案 #

你编写的代码逻辑框架是正确的，运行结果错误一般来自以下几个常见原因：

• date_time列数据类型不匹配
  datediff函数仅支持DateType、TimestampType类型的入参，如果你的date_time列是字符串格式，需要先转换为日期类型，否则会返回null或错误计算结果。参考转换代码：

  // 第二个参数为实际的日期字符串格式，可根据你的数据调整
  testData = testData.withColumn("date_time", functions.to_date(col("date_time"), "yyyy-MM-dd"));
  

• 分区首行返回null
  每个id分区的第一行没有上一行记录，lag函数默认返回null，若需要将首行差值设置为0，可给lag传入第三个默认值参数：

  WindowSpec window = Window.partitionBy("id").orderBy("date_time");
  Dataset<Row> resultSet = testData.withColumn("day_diff", 
    functions.datediff(
      col("date_time"), 
      functions.lag(col("date_time"), 1, col("date_time")).over(window)
    )
  );
  

• 排序规则不符合预期
  orderBy默认采用升序排列，如果你需要按日期倒序计算相邻差值，需要将排序规则改为orderBy(functions.desc("date_time"))，同时调整datediff的参数顺序即可。

内容的提问来源于stack exchange，提问作者Rangan Roy