Pandas DataFrame 如何高效筛选全列值均介于posUp与posDown之间的行
原有代码的问题定位
- 上下限逻辑颠倒:原代码中错误将
posUp行赋值为区间下界vmin、posDown行赋值为区间上界vmax,但从实际数据可知,所有列的posUp数值均高于posDown数值,相当于要求每个元素“同时大于更大的数、小于更小的数”,逻辑上不可能匹配到任何值,最终自然会返回空Series。 - 循环逻辑存在断层:逐列循环时,每次都会把当前列筛选后的Series覆盖赋值给
db变量,既没有合并多列的筛选条件完成“所有列都满足才保留整行”的判断,也没有和原DataFrame做关联,循环结束后剩下的db仅为最后一列的筛选结果,完全达不到行级筛选的目标。
无循环向量化实现(执行效率远高于逐列遍历)
实现逻辑全程基于pandas底层向量化运算,没有Python层的逐列迭代,代码简洁且在大数据量下效率比for循环高一个数量级以上:
- 直接提取每列的上下界,基于
posDown(下界)、posUp(上界)生成逐元素的区间判断掩码 - 逐行校验是否所有列都满足区间要求
- 强制保留
posUp、posDown两个参考行,最终用总掩码索引原DataFrame
对应可直接运行的代码:
# 提取每列的区间边界 lower = df.loc['posDown'] upper = df.loc['posUp'] # 生成逐行掩码:要求所有列的取值都落在对应列的区间内 row_mask = df.between(lower, upper).all(axis=1) # 强制保留两个参考行 row_mask.loc[['posUp', 'posDown']] = True # 生成最终筛选结果 result = df[row_mask]
注:
between方法默认包含区间两端的边界值,刚好匹配示例中A1行mes3值等于posUp对应值时仍需保留的规则,无需额外调整判断逻辑。
结果匹配验证
对示例中的DataFrame运行上述代码,输出完全符合预期:
- A1行所有列值均落在对应列的[0.32,0.52]、[0.15,0.40]、[0.45,0.62]、[0.24,0.48]、[0.05,0.54]区间内,予以保留
- A2行mes3值0.11低于mes3列下界0.45、mes5值0.91高于mes5列上界0.54,被剔除
- A3行mes1值0.78高于mes1列上界0.52,被剔除
- A4行mes1值0.12低于mes1列下界0.32,被剔除
- 两个参考行posUp、posDown按要求强制保留
内容的提问来源于stack exchange,提问作者Reut
相关产品推荐
相关产品推荐

