如何基于列表构建and组合过滤条件 解决DataFrame布尔表达式报错

报错原因 #

报错的核心触发点不是你用了&符号的逻辑运算，而是循环中的分支判断逻辑：

• 初始filters = None，第一次循环会进入else分支，给filters赋值为PySpark的Column类型的条件对象
• 第二次循环执行if filters判断时，Python会尝试将Column类型的filters隐式转换为布尔值来完成条件判断，而PySpark的Column对象不支持直接转换为原生布尔值，因此触发了该报错。

修复方案 #

有两种常用修复方式，按需选择即可：

方案1：初始化恒真条件，省略分支判断 #

直接将初始filters设为永远为真的列表达式，循环中直接做与运算即可，不需要分支判断，代码更简洁：

from pyspark.sql.functions import lit

filters = lit(True)
for desc in tabu_list:
    f = ~col("col1").rlike(desc)
    filters = filters & f

df = df.filter(filters)

方案2：修改判断逻辑，避免隐式布尔转换 #

保留原有分支逻辑，将判断条件从if filters改为if filters is not None，直接判断对象是否为None，不会触发Column的布尔转换：

filters = None
for desc in tabu_list:
    f = ~col("col1").rlike(desc)
    filters = filters & f if filters is not None else f

df = df.filter(filters)

内容的提问来源于stack exchange，提问作者D. Seah