Spark Scala窗口函数中如何添加IGNORE NULLS参数？

在Scala版本的Spark API中，要实现SQL里lead(rn, 1) IGNORE NULLS的效果，直接在lead函数后链式调用.ignoreNulls方法即可，修正后的代码如下：

val my_df = my_table
  .withColumn("next_rn", lead($"rn", 1).ignoreNulls.over(Window.orderBy("rn")))

这个.ignoreNulls方法和SQL中的IGNORE NULLS语义完全一致，会在计算lead偏移值时忽略null数据。

内容的提问来源于stack exchange，提问作者M.S.Visser