PySpark TempView中BooleanType列NULL值比较不符合预期问题

核心原因 #

这是SQL**三值逻辑（3-Valued Logic）**的特性导致的：

• null在SQL中代表「未知值」，任何与null的比较操作（包括!=、=）都会返回null，而非true或false。
• WHERE子句只会保留判断结果为true的行，null会被视为不满足条件，因此那条is_valid为null的记录会被过滤掉，和你的预期相反。

解决方案 #

你可以通过以下两种方式实现预期效果（匹配true和null的记录）：

1. 使用SQL标准的IS NOT FALSE语法

   SELECT * FROM your_temp_view WHERE is_valid IS NOT FALSE;
   

   这个语法会直接匹配所有不是false的情况，包括true和null。

2. 显式包含null的判断

   SELECT * FROM your_temp_view WHERE is_valid != false OR is_valid IS NULL;
   

   手动将null的情况纳入条件，确保这类记录被选中。

验证示例 #

可以用以下测试数据验证：

CREATE OR REPLACE TEMP VIEW test_view AS
SELECT true AS is_valid UNION ALL
SELECT false AS is_valid UNION ALL
SELECT null AS is_valid;

• 执行SELECT * FROM test_view WHERE is_valid != false;，仅返回true的行；
• 执行SELECT * FROM test_view WHERE is_valid IS NOT FALSE;，返回true和null的行，符合预期。

内容的提问来源于stack exchange，提问作者LearneR