PySpark如何在lambda函数中用多表达式过滤DataFrame？

错误原因 #

你遇到的错误是因为在Spark Column表达式中使用了Python原生的or运算符。Spark的Column对象是面向列的分布式数据结构，不能直接用Python的布尔逻辑（and/or/not），必须使用Spark提供的|（或）、&（与）、~（非）运算符来构建布尔表达式。

修正后的代码 #

把lambda里的or替换为|，确保条件都是Spark Column类型的布尔表达式：

cols = ["A", "B", "C", "D", "E", "F", "G", "H","I"]
expr = exists(array(*cols), lambda x: x.isNull() | (x == ""))
df_filter = df.filter(expr).display()

进阶优化（处理空白字符串） #

如果需要同时过滤全空格的字符串（比如" "），可以结合trim函数优化判断条件：

from pyspark.sql.functions import trim

cols = ["A", "B", "C", "D", "E", "F", "G", "H","I"]
expr = exists(array(*cols), lambda x: x.isNull() | (trim(x) == ""))
df_filter = df.filter(expr).display()

另一种写法（无需exists） #

如果觉得exists的lambda写法不够直观，也可以直接遍历列构建条件，再合并：

from pyspark.sql.functions import col
from functools import reduce

cols = ["A", "B", "C", "D", "E", "F", "G", "H","I"]
# 为每个列生成空值/空字符串判断条件
filter_conditions = [col(c).isNull() | (col(c) == "") for c in cols]
# 将所有条件用逻辑或合并
combined_condition = reduce(lambda a, b: a | b, filter_conditions)
df_filter = df.filter(combined_condition).display()

内容的提问来源于stack exchange，提问作者peace