如何用Pandas高效过滤DataFrame中任意列匹配指定文本的行？

直接用Pandas的向量化字符串操作就能搞定，比循环高效得多，完全适配你说的数千行规模需求。以下是具体实现方案：

核心思路 #

利用str.contains对每一列执行文本匹配，再通过any(axis=1)判断每行是否至少有一列满足条件，最后用这个布尔索引过滤原DataFrame，全程用Pandas内置的向量化逻辑，避免低效循环。

代码示例 #

import pandas as pd

# 构造示例数据
data = {
    "A header": ["Event1", "Event2", "OPER-1", "Event3"],
    "Another header": ["Event2", "OPER-8", "Event2", "Event4"]
}
df = pd.DataFrame(data)

# 定义匹配规则：包含"Event2" 或 以"OPER"开头（用正则实现多条件）
match_pattern = r'Event2|^OPER'

# 1. 将所有列转为字符串类型，避免非文本列触发报错
df_str = df.astype(str)

# 2. 对每一列做匹配，生成布尔矩阵后按行取"或"操作
match_mask = df_str.apply(lambda col: col.str.contains(match_pattern, regex=True)).any(axis=1)

# 3. 过滤得到目标结果
filtered_result = df[match_mask]
print(filtered_result)

输出结果 #

A header Another header
0   Event1         Event2
1   Event2         OPER-8
2   OPER-1         Event2

关键细节说明 #

• astype(str)：确保所有列都能被字符串方法处理，哪怕原DataFrame包含数值类型列也不会报错。
• 正则表达式r'Event2|^OPER'：|表示逻辑或，^用于匹配字符串开头，精准覆盖你需要的两个匹配条件。
• apply(...)+any(axis=1)：这一步是向量化操作，比手动循环遍历行/列的效率高一个量级，适合处理数千行数据。
• 若需要忽略大小写匹配，可在str.contains中添加case=False参数。

内容的提问来源于stack exchange，提问作者Giovanni Fiorillo