You need to enable JavaScript to run this app. Pandas DataFrame中按关键字筛选行间行的高效兼容实现
优惠活动
大模型
产品
解决方案
定价
更多

Pandas DataFrame中按关键字筛选行间行的高效兼容实现

适配关键字次数不匹配场景的Pandas区间行提取优化方案

原来的实现是将两个关键字的出现索引按顺序一一硬配对,一旦两个关键字出现次数不对等,要么直接索引越界报错,要么直接跳过最后一段没匹配上的内容,加上手动循环拼接索引列表的写法,面对大体积DataFrame时运行效率会非常低。
我们可以通过简单的状态标记+向量化计算的思路,同时解决兼容性和效率两个核心问题。

实现逻辑

  • 用状态位标记区间开关:逐行判断,遇到Keyword1就把状态切为"区间开启",遇到Keyword2就把状态切为"区间关闭"
  • 对状态位做累加计算,当前状态为开启的所有行,就是需要保留的目标行
  • 整个过程不需要强制要求两个关键字的出现次数完全一致,天然兼容次数不匹配的场景

示例场景说明

本次测试用的DataFrame结构如下,其中Keyword1=B共出现3次,Keyword2=D共出现2次,属于典型的次数不对等场景:

索引值Col1 字段值
0A
1B
2C1
3D
4A
5B
6C2
7C3
8D
9C4
10B
11C5

优化后代码

import pandas as pd
import numpy as np

# 初始化测试数据
df = pd.DataFrame({'Col1': ['A', 'B', 'C1', 'D', 'A', 'B', 'C2', 'C3', 'D', 'C4', 'B', 'C5']})
Keyword1 = 'B'
Keyword2 = 'D'

# 生成状态标记:遇到Keyword1标记1(开区间),遇到Keyword2标记-1(关区间)
state_flags = np.where(
    df['Col1'] == Keyword1, 1,
    np.where(df['Col1'] == Keyword2, -1, 0)
)
# 累加状态值,判断当前行是否处于区间内
is_in_range = np.cumsum(state_flags) > 0

# 拆分得到目标结果
df_keep = df[is_in_range].copy()
df_del = df[~is_in_range].copy()

结果说明

运行以上代码得到的保留行,会自动覆盖所有B到D的区间:

  • 索引1(B)到索引3(D)的全部行
  • 索引5(B)到索引8(D)的全部行
  • 最后一次未遇到配对D的B(索引10)及后续所有行

如果不需要保留最后那段没有闭环的未完成区间,只要加一行判断就行,把最后一个Keyword2出现位置之后的内容排除:

# 过滤未闭环区间
last_keyword2_pos = df.index[df['Col1'] == Keyword2].max()
df_keep = df_keep[df_keep.index <= last_keyword2_pos]
df_del = df[~df.index.isin(df_keep.index)].copy()

方案优势

  • 兼容性拉满:不需要校验两个关键字的出现次数是否相等,哪怕关键字重复嵌套、次数不对等,都能按顺序正确匹配区间,不会出现原代码里的索引越界、内容遗漏问题
  • 运行效率高:全程走numpy向量化计算,替代原来的循环拼接索引列表,万行以上的DataFrame下,运行速度比手动循环快两个数量级,也不会出现列表反复扩容的内存浪费
  • 调整灵活:如果需要修改区间边界(比如区间不包含Keyword1、不包含Keyword2),只要调整累加后的判断条件就行,不用重写配对逻辑

内容的提问来源于stack exchange,提问作者Tanjil

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 19:45:03