PySpark/Pandas使用两列组合为过滤条件时报错的解决方法

原始数据集 #

+-----------+------+
|ColA       |ColB  |
+-----------+------+
|       A   |     B|
|       A   |     D|
|       C   |     U|
|       B   |     B|
|       A   |     B|
+-----------+------+

期望输出结果 #

+-----------+------+
|ColA       |ColB  |
+-----------+------+
|       A   |     D|
|       C   |     U|
|       B   |     B|
+-----------+------+

需求为移除所有colA == 'A'且colB == 'B'的行，编写SQLSELECT * FROM table where (colA != 'A' and colB != 'B')可得到预期结果，但迁移到PySpark和Pandas时代码运行报错，PySpark抛出Py4JError: An error occurred while calling o109.and.相关错误，原有错误实现代码如下：

# PySpark 错误代码
sparkDF.where((sparkDF['colA'] != 'A' & sparkDF['colB'] != 'B')).show() 

# Pandas 错误代码
pandasDF[(pandasDF["colA"]!="A" & pandasDF["colB"]!="B")]

核心问题有两个：

• 运算符优先级错误：Python中位运算符&的优先级高于比较运算符!=、==，你写的表达式会优先计算'A' & sparkDF['colB']、"A" & pandasDF["colB"]，完全偏离了「先分别判断两个字段值，再做逻辑与」的预期，这也是PySpark抛出Py4J调用错误的直接原因——你把字符串和DataFrame列对象做了位运算，引擎根本识别不了这种非法操作。
• 条件括号缺失：PySpark和Pandas中用位运算符&（与）、|（或）、~（非）做逻辑判断时，每个独立的比较条件必须单独用小括号包裹，再做位运算拼接。

额外说明：你写的SQL逻辑本身不符合布尔运算等价规则，要过滤「colA等于A 且 colB等于B」的行，等价逻辑应该是NOT (colA = 'A' AND colB = 'B')，即colA != 'A' OR colB != 'B'。你写的colA != 'A' AND colB != 'B'会把colA=A但colB≠B、colB=B但colA≠A的行也过滤掉，和你给出的期望结果不匹配，属于手误。

PySpark 版本 #

# 写法1：直接匹配要排除的条件取反，逻辑最直观
sparkDF.where(~((sparkDF['colA'] == 'A') & (sparkDF['colB'] == 'B'))).show()

# 写法2：等价的或逻辑
sparkDF.where((sparkDF['colA'] != 'A') | (sparkDF['colB'] != 'B')).show()

Pandas 版本 #

# 写法1：匹配排除条件后取反
pandasDF[~((pandasDF["colA"] == "A") & (pandasDF["colB"] == "B"))]

# 写法2：等价或逻辑
pandasDF[(pandasDF["colA"] != "A") | (pandasDF["colB"] != "B")]

内容的提问来源于stack exchange，提问作者bigdataadd