PySpark中AND查询异常排查：分区字段过滤结果不符预期

问题原因分析 #

你遇到的核心问题在于Spark对分区字段NULL值的过滤规则：

• 单独执行df.filter(df.created_date != 'add').count()返回4105，说明所有数据都满足created_date != 'add'，该条件未过滤任何行。
• 叠加lastUpdatedDate != '2022-12-21'后结果变为3861，是因为Spark中NULL值与任何值比较的结果都是NULL，而过滤操作会自动排除条件结果为NULL的行。如果你的lastUpdatedDate分区字段存在NULL值（对应存储目录通常为__HIVE_DEFAULT_PARTITION__），lastUpdatedDate != '2022-12-21'会将这些NULL行一并过滤，最终导致结果低于预期。

解决方案 #

方案1：修正过滤条件，兼容NULL值

调整过滤逻辑，明确保留lastUpdatedDate为NULL的行，确保仅排除lastUpdatedDate = '2022-12-21'的数据：

df.filter(
    (df.created_date != 'add') & 
    ((df.lastUpdatedDate != '2022-12-21') | df.lastUpdatedDate.isNull())
).count()

该条件严格符合你的AND逻辑需求：保留所有created_date != 'add'，且lastUpdatedDate不是2022-12-21或为NULL的行。

方案2：修复Hive表分区元数据（若适用）

如果你的表是Hive格式分区表，可能存在分区元数据与实际存储目录不一致的情况（比如手动增删分区未更新元数据），导致Spark分区裁剪逻辑出错。执行以下命令修复元数据：

MSCK REPAIR TABLE your_table_name;

修复后重新执行过滤查询，验证结果是否符合预期。

方案3：临时禁用分区下推（排查用）

若怀疑是分区下推逻辑导致异常，可临时禁用该优化排查问题：

spark.conf.set("spark.sql.optimizer.excludeRules", "org.apache.spark.sql.catalyst.optimizer.PushDownPredicate")

执行配置后再运行过滤查询，若结果恢复为4105，则确认是分区下推对NULL值的处理逻辑问题。注意：禁用分区下推会影响查询性能，仅作临时排查使用，长期解决优先采用方案1。

内容的提问来源于stack exchange，提问作者vfrank66