PySpark过滤后空DataFrame查询出异常数据问题求助

问题现象 #

• 执行PySpark的filter操作后得到aggSeqDf，确认该DataFrame为空
• 基于aggSeqDf执行select操作得到aggDf，却出现预期外的数据
• 尝试过persist()、cache()、调用count()等action操作，问题未解决
• 在AWS Glue运行作业，调整资源配置也无效

可能的原因分析 #

1. 惰性求值与执行计划改写问题 #

Spark的惰性求值会将操作链延迟到action触发时执行，即便filter后调用了count()，若后续select操作的逻辑计划被优化器改写，可能出现filter逻辑被忽略的情况：

• 检查执行计划，确认filter是否被纳入最终select的逻辑链，是否存在谓词下推失效
• 查看执行计划中是否有意外的表扫描、join操作，可能是代码隐式依赖导致filter未生效

2. 过滤条件或数据类型问题 #

• 排查filter条件是否存在数据类型隐式转换（如字符串与数值比较），导致过滤逻辑实际未生效
• 确认是否错误使用== null而非isNull判断空值，直接导致过滤失效
• 对比aggSeqDf和aggDf的schema，检查select是否意外引入了其他数据源的字段

3. AWS Glue环境特有问题 #

• 检查Glue作业的分区元数据是否过期，导致filter过滤的分区仍有数据被读取
• 确认DynamicFrame转Spark DataFrame（toDF()）时是否存在字段映射错误，丢失过滤逻辑
• 查看CloudWatch日志中的警告信息，比如分区裁剪失败、数据倾斜的提示

4. 代码变量复用或逻辑疏漏 #

• 检查代码中是否存在aggSeqDf被后续代码重新赋值的情况，导致select实际基于未过滤的DataFrame
• 确认filter后的aggSeqDf是否真为空，是否因数据源延迟加载导致count()结果临时不准确

排查建议 #

• 打印aggSeqDf.explain(true)和aggDf.explain(true)，对比两者的逻辑执行计划差异
• 在filter后立即执行aggSeqDf.show()和aggSeqDf.printSchema()，确认数据和字段正确性
• 简化代码，只保留filter+select的核心逻辑，排除其他代码干扰
• 在本地Spark环境复现逻辑，确认是否为Glue环境特有问题

内容的提问来源于stack exchange，提问作者SDS