Pandas按行条件筛选异常求助：部分符合条件行未被选中

出现这种筛选结果不一致的情况，主要有以下几个常见原因：

• 索引异常（重复/混乱）
  如果原DataFrame（df）存在重复索引或者索引逻辑混乱，loc在基于布尔索引筛选时可能出现匹配遗漏。而先通过ID==6筛选出小范围的df3后，索引范围被限定，再筛选DIM就不会受原索引问题影响。可以执行df.index.is_unique检查是否存在重复索引，若有问题，用df.reset_index(drop=True)重置索引后再尝试筛选。

• 布尔索引存在缺失值
  虽然DIM字段显示为int64类型，但如果数据中存在隐性的缺失值（比如数据导入时产生的异常值），执行df.DIM>50会生成包含NaN的布尔序列，而loc会将NaN视为False，导致对应行被过滤。而先筛选ID得到的df3中，该布尔序列没有NaN，所以能正常匹配。可以用(df.DIM>50).isna().any()检查是否存在缺失的布尔值，若存在，先通过df.DIM.fillna(-float('inf'))处理缺失值后再筛选。

• 视图与副本的混淆
  若原df是某个大DataFrame的视图而非副本，可能存在缓存或引用异常，导致筛选逻辑出错。尝试用df.copy()创建独立副本后再执行筛选：df2 = df.copy().loc[df.DIM>50]，看是否能得到正确结果。

内容的提问来源于stack exchange，提问作者user3446097