Pandas DataFrame中按关键字筛选行间行的高效兼容实现
适配关键字次数不匹配场景的Pandas区间行提取优化方案
原来的实现是将两个关键字的出现索引按顺序一一硬配对,一旦两个关键字出现次数不对等,要么直接索引越界报错,要么直接跳过最后一段没匹配上的内容,加上手动循环拼接索引列表的写法,面对大体积DataFrame时运行效率会非常低。
我们可以通过简单的状态标记+向量化计算的思路,同时解决兼容性和效率两个核心问题。
实现逻辑
- 用状态位标记区间开关:逐行判断,遇到Keyword1就把状态切为"区间开启",遇到Keyword2就把状态切为"区间关闭"
- 对状态位做累加计算,当前状态为开启的所有行,就是需要保留的目标行
- 整个过程不需要强制要求两个关键字的出现次数完全一致,天然兼容次数不匹配的场景
示例场景说明
本次测试用的DataFrame结构如下,其中Keyword1=B共出现3次,Keyword2=D共出现2次,属于典型的次数不对等场景:
| 索引值 | Col1 字段值 |
|---|---|
| 0 | A |
| 1 | B |
| 2 | C1 |
| 3 | D |
| 4 | A |
| 5 | B |
| 6 | C2 |
| 7 | C3 |
| 8 | D |
| 9 | C4 |
| 10 | B |
| 11 | C5 |
优化后代码
import pandas as pd import numpy as np # 初始化测试数据 df = pd.DataFrame({'Col1': ['A', 'B', 'C1', 'D', 'A', 'B', 'C2', 'C3', 'D', 'C4', 'B', 'C5']}) Keyword1 = 'B' Keyword2 = 'D' # 生成状态标记:遇到Keyword1标记1(开区间),遇到Keyword2标记-1(关区间) state_flags = np.where( df['Col1'] == Keyword1, 1, np.where(df['Col1'] == Keyword2, -1, 0) ) # 累加状态值,判断当前行是否处于区间内 is_in_range = np.cumsum(state_flags) > 0 # 拆分得到目标结果 df_keep = df[is_in_range].copy() df_del = df[~is_in_range].copy()
结果说明
运行以上代码得到的保留行,会自动覆盖所有B到D的区间:
- 索引1(B)到索引3(D)的全部行
- 索引5(B)到索引8(D)的全部行
- 最后一次未遇到配对D的B(索引10)及后续所有行
如果不需要保留最后那段没有闭环的未完成区间,只要加一行判断就行,把最后一个Keyword2出现位置之后的内容排除:
# 过滤未闭环区间 last_keyword2_pos = df.index[df['Col1'] == Keyword2].max() df_keep = df_keep[df_keep.index <= last_keyword2_pos] df_del = df[~df.index.isin(df_keep.index)].copy()
方案优势
- 兼容性拉满:不需要校验两个关键字的出现次数是否相等,哪怕关键字重复嵌套、次数不对等,都能按顺序正确匹配区间,不会出现原代码里的索引越界、内容遗漏问题
- 运行效率高:全程走numpy向量化计算,替代原来的循环拼接索引列表,万行以上的DataFrame下,运行速度比手动循环快两个数量级,也不会出现列表反复扩容的内存浪费
- 调整灵活:如果需要修改区间边界(比如区间不包含Keyword1、不包含Keyword2),只要调整累加后的判断条件就行,不用重写配对逻辑
内容的提问来源于stack exchange,提问作者Tanjil
相关产品推荐
相关产品推荐

