如何在PySpark的where函数中对条件列表应用OR逻辑运算符

你需要的效果有两种实现方式，分别适配不同版本的Spark：

方案1：Spark 3.0+ 直接用内置any_of函数（最简方案） #

any_of是Spark官方提供的批量OR逻辑函数，接收任意多个条件参数，只要有一个条件成立就返回真，直接把你的条件列表解包传入即可：

from pyspark.sql import functions as F

spark_conditions = [cond1, cond2, ..., cond100]
df.select(columns).where(F.any_of(*spark_conditions))

方案2：低版本Spark兼容方案（适用所有版本） #

用Python的functools.reduce迭代拼接|运算符，把列表里的所有条件合并成一个总OR条件：

from functools import reduce
import operator

spark_conditions = [cond1, cond2, ..., cond100]
# 逐个对列表元素应用OR运算符，合并为单个条件
combined_condition = reduce(operator.or_, spark_conditions)

df.select(columns).where(combined_condition)

注意事项 #

• 如果你的条件列表可能为空，需要提前加兜底逻辑避免运行报错：如果空列表需要返回全量数据，就把combined_condition设置为F.lit(True)；如果需要返回空结果就设置为F.lit(False)。
• 不要直接使用Python原生的any()函数，它只能识别Python原生布尔值，无法识别PySpark的Column类型条件，运行不会生效。

内容的提问来源于stack exchange，提问作者abc