如何使用列名列表实现Spark DataFrame多列非空过滤

架构老林

2026-4-29

如何用列名列表过滤Spark DataFrame的多列非空值

嘿，这事儿其实挺简单的，咱们可以通过组合Spark的列表达式来实现批量过滤。针对你给出的keyList，有两种常用的优雅写法：

方法1：用`foldLeft`累积过滤条件

这种方法适合处理可能为空的列名列表（如果列表为空，会返回原DataFrame，不会报错）：

import org.apache.spark.sql.functions.{col, lit}

val keyList = List("columnA", "columnB", "columnC", "columnD")

// 从一个"永远为真"的表达式开始，逐步叠加每一列的非空判断
val nonNullCondition = keyList.foldLeft(lit(true)) { (accumulatedCondition, columnName) =>
  accumulatedCondition && col(columnName).isNotNull
}

// 应用过滤条件
val nonNullDf = df.filter(nonNullCondition)

原理很直观：foldLeft会遍历keyList里的每个列名，把每个列的isNotNull条件和之前累积的条件用&&连接，最终得到一个“所有指定列都非空”的复合条件。

方法2：用`map + reduce`组合条件

如果确定keyList不会是空列表，这种写法更简洁：

import org.apache.spark.sql.functions.col

val keyList = List("columnA", "columnB", "columnC", "columnD")

// 先把每个列名转换成非空判断表达式，再用reduce把所有表达式用&&合并
val nonNullCondition = keyList.map(columnName => col(columnName).isNotNull).reduce(_ && _)

val nonNullDf = df.filter(nonNullCondition)

这里map把每个列名转换成col(columnName).isNotNull的列表达式，然后reduce会把这些表达式依次用&&连接起来，效果和方法1完全一致。