Spark/Scala中如何无需if-else实现DataFrame可选过滤？

当然可以！在Scala里，我们可以借助Option类型的高阶方法消除显式的if-else分支，让代码更简洁且贴合函数式风格。这里有两种常用的实现方式：

方法一：使用fold方法 #

Option.fold是处理这类场景的绝佳工具——它接收两个参数：当Option为None时返回的默认值，以及当Option为Some时执行的转换函数。

import org.apache.spark.sql.DataFrame

def test(df: DataFrame, filterExpr: Option[String] = None): DataFrame = {
  filterExpr.fold(df)(expr => df.filter(expr))
}

• 当filterExpr是None时，直接返回原始的df
• 当filterExpr是Some(xxx)时，自动执行df.filter(xxx)并返回过滤后的DataFrame

方法二：使用map + getOrElse #

这种方式也很直观：先通过map把Some中的过滤表达式转换成过滤后的DataFrame，再用getOrElse兜底返回原始DataFrame。

import org.apache.spark.sql.DataFrame

def test(df: DataFrame, filterExpr: Option[String] = None): DataFrame = {
  filterExpr.map(df.filter).getOrElse(df)
}

这里利用了Scala的柯里化特性，df.filter可以直接作为函数传递给map——它接受一个String参数并返回DataFrame，完美匹配Option.map的输入输出类型要求。

两种写法都彻底去掉了外部的if-else块，让逻辑更紧凑，也更符合函数式编程的思维习惯。

内容的提问来源于stack exchange，提问作者Nick01