Spark中when函数链式调用与嵌套otherwise写法是否等价？求值顺序有保证吗？

这两种Spark代码写法是完全等价的，实际运行效果没有任何区别。

核心逻辑说明 #

Spark的when方法支持链式调用，其执行逻辑是：

• 按照代码中when的书写顺序依次判断条件
• 只要某个条件cond满足，就立即返回对应的val，后续所有的when分支都不会再进行判断和求值

第二种写法里的嵌套otherwise，本质是在当前when条件不满足时，才进入下一层的when判断，这和第一种链式调用的执行逻辑完全一致。

代码示例验证 #

比如我们有如下DataFrame和条件：

import org.apache.spark.sql.functions._

val df = spark.createDataFrame(Seq((15), (7), (3), (0))).toDF("a")
val cond1 = col("a") > 10
val val1 = lit(1)
val cond2 = col("a") > 5
val val2 = lit(2)
val cond3 = col("a") > 0
val val3 = lit(3)

用第一种写法处理：

val df1 = df.withColumn("x", when(cond1, val1)
                  .when(cond2, val2)
                  .when(cond3, val3))

用第二种写法处理：

val df2 = df.withColumn("x", when(cond1, val1)
                  .otherwise(when(cond2, val2)
                            .otherwise(when(cond3, val3))))

最终df1和df2的结果完全一致：

结论 #

第一种链式写法更简洁，是Spark官方推荐的写法之一，它严格保证条件的求值顺序，完全可以放心使用，无需担心逻辑不符合预期的问题。

内容的提问来源于stack exchange，提问作者krezno