PySpark中如何通过按位异或操作实现DataFrame过滤？

问题场景与错误原因 #

要在PySpark中过滤DataFrame，筛选出满足「列值与指定数字按位异或后等于原列值」的行，逻辑表达式为 df.num ^ xor_num == df.num。

原代码：

new_df = old_df.filter(old_df.num ^ xor_num == old.df.num)

执行报错：unsupported operand type for ^:'column' and 'int'，原因是PySpark的Column对象无法直接与Python原生int使用^运算符进行按位运算。

正确实现方式 #

PySpark提供了专门处理列按位异或的bitwise_xor函数，需从pyspark.sql.functions导入后使用：

1. 导入函数

from pyspark.sql.functions import bitwise_xor

2. 构建过滤条件
   用bitwise_xor替代原生^运算符，构建合法的过滤逻辑：

new_df = old_df.filter(bitwise_xor(old_df.num, xor_num) == old_df.num)

额外说明 #

当a ^ b == a成立时，说明b的二进制位中，所有a为1的位对应的位置都是0，即两者无重叠的1位。bitwise_xor函数能适配PySpark Column类型与数值的运算，彻底解决类型不匹配问题。

内容的提问来源于stack exchange，提问作者mal