PySpark DataFrame嵌套布尔条件过滤结果不符预期的原因问询

核心问题在于PySpark位运算符与SQL逻辑运算符的优先级差异：

• SQL中，比较运算符（如!=）优先级高于逻辑运算符（AND），会先执行所有比较判断，再依次执行AND逻辑。
• PySpark里的&是位运算符，优先级高于比较运算符（!=），导致你的条件被错误解析，完全偏离预期逻辑。

原PySpark条件：

((col("is_flag")) & (trim(col("country")) != 'CA') & nvl(col("rule"),lit(False)) != True)

会被PySpark解析为：

((col("is_flag") & (trim(col("country")) != 'CA')) & nvl(col("rule"), lit(False))) != True

以第一条记录(True, 'CA', NULL)为例，运算过程完全走偏：

1. trim(col("country")) != 'CA'结果为False
2. col("is_flag") & False结果为False
3. False & nvl(col("rule"), lit(False))（即False & False）结果为False
4. False != True结果为True
   最终整个子条件为True，结合~col("is_flag")的False，False | True为True，导致这条本应被过滤的记录被保留。

有两种可靠的修正方式：

方式1：给比较运算加括号，明确优先级 #

将nvl(col("rule"), lit(False)) != True用括号包裹，确保比较运算先执行，再参与&运算：

condition = (
    (~col("is_flag")) |
    ((col("is_flag")) & (trim(col("country")) != 'CA') & (nvl(col("rule"), lit(False)) != True))
)

方式2：改用布尔逻辑运算符+规范布尔判断 #

PySpark的and/or是布尔逻辑运算符，优先级低于比较运算符，更贴近SQL逻辑；同时用~代替!= True，更符合PySpark布尔操作习惯：

condition = (
    (~col("is_flag")) |
    ((col("is_flag")) & (trim(col("country")) != 'CA') & (~nvl(col("rule"), lit(False))))
)

修正后执行代码，就能得到预期的过滤结果：

+-------+-------+----+
|is_flag|country|rule|
+-------+-------+----+
|true   |US     |NULL|
|false  |CA     |NULL|
+-------+-------+----+

内容的提问来源于stack exchange，提问作者Matthew