Python Pandas遍历xlsx文件夹 正则匹配含xx.xx模式的工作表读取数据
核心调整思路
你现有流程的断点在于:原本硬编码每个Excel文件只读取第一个工作表(x.parse(x.sheet_names[0]...)),完全没有遍历全量工作表、做正则筛选的步骤。需要把正则匹配逻辑嵌入到「读取Excel文件-获取全量工作表名-筛选目标工作表-读取目标表数据」的链路里,不需要改动你已经写好的表头处理、拼接、导出逻辑。
具体实现步骤
- 提前编译好你确定的正则规则,提高匹配效率
- 遍历每个Excel文件时,先拿到该文件下的所有工作表名称
- 对每个工作表名称做正则匹配,只保留命中
xx.xx日期模式的表名 - 对所有命中的表名逐一读取为DataFrame,汇总到统一的frames列表中
- 后续的表头去重、数据拼接、导出逻辑完全沿用你原有代码即可
修正后的完整可运行代码
import pandas as pd import os import re # 提前编译你确定的正则匹配规则 sheet_match_pattern = re.compile(r"[0-9][0-9]+\.[0-9][0-9]") # 遍历获取当前目录下所有xlsx文件 files = os.listdir() excel_names = list(filter(lambda f: f.endswith('.xlsx'), files)) frames = [] # 逐个处理Excel文件 for file_path in excel_names: # 用上下文管理器打开Excel文件,自动释放资源 with pd.ExcelFile(file_path, engine='openpyxl') as xls: # 获取当前文件下的所有工作表名称 all_sheet_names = xls.sheet_names # 正则筛选出名称带xx.xx模式的目标工作表 target_sheets = [ sheet for sheet in all_sheet_names if sheet_match_pattern.search(sheet) ] # 读取每个目标工作表的内容,加入总frames列表 for sheet_name in target_sheets: df = xls.parse(sheet_name, header=None, index_col=None) # 可选:跳过空表避免拼接报错 if not df.empty: frames.append(df) # 沿用原有逻辑:除第一个数据帧外,删除其余帧的首行重复表头 frames[1:] = [df[1:] for df in frames[1:]] # 拼接全量数据 combined = pd.concat(frames) # 导出结果 combined.to_excel("combinedfiles.xlsx", header=False, index=False)
注意事项
- 正则匹配选择
re.search是因为我们只需要判断工作表名称字符串中是否存在符合模式的片段,不需要提取所有匹配内容,比re.findall更适配筛选场景 - 场景适配验证:如果某个Excel文件包含
"data 01.22"、"financials"、"data 03.23"三个工作表,筛选逻辑会自动排除不匹配的financials表,只读取剩下两个符合模式的表,和你的预期完全一致 - 内存优化:用
with上下文管理器打开Excel文件,比你原来直接把所有ExcelFile对象存在列表里的方式更省内存,处理30个文件的规模下不会出现内存占用过高的问题
内容的提问来源于stack exchange,提问作者tenebris silentio
相关产品推荐
相关产品推荐

