PySpark SQL中OR条件处理日期时出现异常行为的排查

核心原因：字段类型不匹配与隐式转换的上下文差异 #

假设你的foobar.business_date和foobar_2.business_date字段是DATE类型（而非字符串类型），问题出在字符串与DATE类型的隐式转换逻辑，以及Full Outer Join带来的NULL值在不同条件下的影响：

1. AND条件能生效的原因 #

当使用AND时，只有同时满足两个表business_date匹配的行才会被保留——这类行的两个business_date字段都非空。此时PySpark可以正常将字符串'2020-01-01'隐式转换为DATE类型，和字段值做精确比较，因此能返回符合条件的结果。

2. OR条件返回空的原因 #

Full Outer Join会生成三类行，每类都因隐式转换的问题被过滤：

• foobar有数据、foobar_2无数据：此时foobar_2.business_date为NULL，NULL = '2020-01-01'结果为NULL；同时foobar.business_date = '2020-01-01'的比较中，OR分支判断下的隐式转换逻辑异常（比如DATE转字符串后的格式与目标字符串不匹配），导致比较结果为false，整个OR条件结果为false，该行被过滤。
• foobar_2有数据、foobar无数据：逻辑同上，foobar.business_date为NULL，foobar_2.business_date与字符串的比较因隐式转换失效返回false，OR条件整体为false，该行被过滤。
• 两个表都有数据的行：OR条件下的查询优化器可能改变了隐式转换的执行逻辑，导致字符串与DATE的比较未正确执行，结果为false，最终所有行被过滤，返回空DataFrame。

3. 显式DATE()转换生效的原因 #

使用DATE('2020-01-01')将字符串显式转为DATE类型后，比较操作变成DATE类型与DATE类型的精确匹配，无论是否存在NULL值，逻辑都能正常执行：

• 非NULL的DATE值可以正确匹配；
• NULL值的比较返回NULL，但OR条件中只要有一个分支为true就会保留该行，因此能得到预期的结果。

内容的提问来源于stack exchange，提问作者hdw3