Python：Excel工作簿全表字符串快速搜索优化及命中行提取需求

你的代码运行慢主要是因为嵌套循环层级太多，而且每次单独检查一个字符串，没利用好Pandas的向量运算优势。下面给你一套高效的解决方案，既能快速完成搜索，又能提取所有命中的行：

核心优化思路 #

1. 将所有搜索字符串合并为单个正则表达式，一次性检查所有匹配项，避免逐字符串循环的冗余操作
2. 直接对整个DataFrame做匹配判断，跳过逐列遍历的低效步骤
3. 批量收集匹配行，最后统一合并成结果DataFrame

完整实现代码 #

import pandas as pd
import re

# 假设你的搜索字符串列表是my_list
my_list = ["字符串1", "字符串2", "含特殊符号的.str"]

# 步骤1：处理搜索字符串，转义正则特殊字符并合并为正则模式
# 用|分隔，表示匹配任意一个目标字符串
pattern = '|'.join(re.escape(s) for s in my_list)

# 步骤2：初始化存储匹配行的列表和找到的字符串集合（自动去重）
matched_rows = []
found_strings = set()

# 步骤3：遍历所有工作表
xl = pd.ExcelFile('testfile.xlsx')
for sheet_name in xl.sheet_names:
    # 读取工作表数据，dtype=str确保所有内容按字符串处理
    df = xl.parse(sheet_name, dtype=str)
    
    # 步骤4：找出当前工作表中所有匹配的行
    # 检查每一行是否有任意一列包含目标字符串
    match_mask = df.apply(lambda col: col.str.contains(pattern, na=False)).any(axis=1)
    current_matched_df = df[match_mask].copy()
    # 可选：添加来源工作表列，方便后续溯源匹配行的出处
    current_matched_df['来源工作表'] = sheet_name
    
    # 步骤5：将当前工作表的匹配行加入总列表
    matched_rows.append(current_matched_df)
    
    # 步骤6：提取当前工作表中实际命中的字符串（按需保留）
    for s in my_list:
        if df.apply(lambda col: col.str.contains(re.escape(s), na=False)).any().any():
            found_strings.add(s)

# 步骤7：合并所有匹配行为一个最终DataFrame
final_matched_df = pd.concat(matched_rows, ignore_index=True)
# 将去重后的命中字符串转为列表
foundlist = list(found_strings)

# 可选：将结果保存到新Excel文件
final_matched_df.to_excel('匹配结果汇总.xlsx', index=False)

关键优化点解释 #

• 正则合并：用re.escape处理每个搜索字符串，避免.、*这类正则特殊字符干扰匹配，然后用|合并成一个模式，一次检查所有目标字符串，大幅减少匹配次数
• 向量匹配：df.apply(...)结合any(axis=1)直接对整行做匹配判断，比原代码的三层嵌套循环效率提升数倍
• 自动去重：用set存储命中的字符串，避免重复添加
• 溯源标记：新增的来源工作表列能帮你快速定位匹配行来自哪个sheet

额外性能提升建议 #

如果你的Excel文件特别庞大，可以尝试：

• 使用usecols参数只读取可能存在匹配的列（如果提前知道范围）
• 用chunksize分块读取工作表，但针对你描述的20个工作表+数千行的规模，上面的代码已经足够高效啦

内容的提问来源于stack exchange，提问作者zabumafu