如何用Pandas高效检测DataFrame列中的特定字符串序列？

核心思路：用矢量化操作替代滚动窗口/循环 #

滚动窗口apply对非数值类型支持有限，我们可以利用Pandas的布尔索引、cumsum和移位操作实现纯矢量化的区间检测，完全避免类型转换或iterrows这类低效循环。

方法一：基于分组标记的矢量化实现（推荐） #

这种方法通过标记起始/结束点，用累加计数划分有效区间，全程无循环，效率最高。

import pandas as pd

# 示例日志DataFrame
data = {'log': ['X', 'A', 'C', 'D', 'B', 'Y', 'A', 'E', 'B', 'Z']}
df = pd.DataFrame(data)

# 1. 标记起始（A）和结束（B）行
df['is_start'] = df['log'] == 'A'
df['is_end'] = df['log'] == 'B'

# 2. 生成区间组ID：每次遇到A时组号递增，遇到B后下一行重置组号为0
df['group_id'] = df['is_start'].cumsum()
# 找到B的下一行，将其组号设为0（结束当前区间）
df.loc[df['is_end'].shift(-1).fillna(False), 'group_id'] = 0

# 3. 筛选有效区间内的行（包含A和B；若不需要首尾，可再加~df['log'].isin(['A','B'])）
result = df[df['group_id'] > 0].drop(['is_start', 'is_end', 'group_id'], axis=1)

print(result)

输出结果：

log
1   A
2   C
3   D
4   B
6   A
7   E
8   B

方法二：基于索引匹配的实现 #

如果需要更精准地控制每个A对应的第一个B（比如处理多个A/B交错的场景），可以直接匹配索引对：

import pandas as pd
import numpy as np

data = {'log': ['X', 'A', 'C', 'D', 'B', 'Y', 'A', 'E', 'B', 'Z']}
df = pd.DataFrame(data)

# 获取所有A和B的索引
a_indices = df[df['log'] == 'A'].index.to_numpy()
b_indices = df[df['log'] == 'B'].index.to_numpy()

# 匹配每个A对应的第一个后续B
valid_intervals = []
for a_idx in a_indices:
    # 找到第一个大于当前A索引的B
    matching_b = b_indices[b_indices > a_idx]
    if len(matching_b) > 0:
        valid_intervals.append((a_idx, matching_b[0]))

# 提取所有区间内的行
selected_rows = []
for start, end in valid_intervals:
    selected_rows.extend(range(start, end + 1))

result = df.loc[selected_rows]

关键优势说明 #

• 两种方法都避免了iterrows的低效循环，也无需将字符串转成数值
• 方法一完全依赖Pandas矢量化操作，处理大规模日志数据时性能最优
• 方法二更灵活，适合需要自定义区间匹配规则的场景

内容的提问来源于stack exchange，提问作者GandalfDG