Python顺序遍历大目录各文件夹读取匹配*era5.wind文件的实现方法
最优Pythonic实现方案
针对400个一级子文件夹的目录规模,完全可以依托Python标准库实现无冗余、无资源泄漏、低维护成本的遍历流程,不需要引入重型第三方库,也不需要依赖手动切换目录、手动关闭文件的传统写法。
核心设计原则
- 放弃手动
os.chdir逐次进入子文件夹的有状态写法,这类写法会改动全局工作目录状态,一旦流程中断很容易出现路径定位错乱,直接用绝对路径定位目标文件即可达到同等效果 - 放弃动态生成独立变量存结果的操作(例如通过
globals()给每个文件夹名赋值对应变量),这类写法会让变量空间混乱、难以调试,直接用字典存储所有计算结果,以文件夹名作为字典键,完全匹配“以所属文件夹名作为标识存储结果”的需求,同时可读性和可维护性更强 - 所有文件读写操作通过上下文管理器完成,完全省略手动
close文件的步骤,哪怕流程中途抛出异常,也会自动释放文件句柄,避免出现句柄耗尽的问题
可直接复用的实现代码
from pathlib import Path # 替换为你实际的总根目录路径 ROOT_PATH = Path("/your/large/parent/directory") # 存储所有计算结果的字典 result_store = {} # 遍历总目录下的所有一级条目 for entry in ROOT_PATH.iterdir(): # 跳过非文件夹的条目,仅处理子文件夹 if not entry.is_dir(): continue # 在当前子文件夹下匹配命名符合*era5.wind规则的文件,不递归深层目录 matched_files = list(entry.glob("*era5.wind")) # 跳过无匹配目标文件的空文件夹 if not matched_files: continue # 处理当前子文件夹下的匹配文件 for file in matched_files: # 上下文管理器自动管理文件生命周期,无需手动关闭 with open(file, "r") as fp: content = fp.read() # 替换为你实际的内容读取、数据计算逻辑 output = your_calc_function(content) # 以子文件夹名作为标识存储结果 result_store[entry.name] = output
方案适配性说明
- 遍历效率:
pathlib的iterdir底层和低开销的os.scandir实现一致,400个文件夹的规模下遍历耗时可以忽略,远高于老版本os.listdir的性能;和通用递归遍历的os.walk写法相比,当前实现只扫描一级子文件夹,不会额外遍历深层目录的无关内容,遍历开销最低 - 匹配准确性:内置的
glob规则完全对齐通配符匹配逻辑,不会出现正则匹配的规则偏差,对*era5.wind的文件识别和需求完全一致 - 维护成本:全流程无全局状态,不存在目录切换、路径拼接的冗余操作,跨平台运行时也不需要手动处理Windows、Linux的路径分隔符差异
- 扩展性:如果后续需要往更深层级匹配文件,只需要把
glob换成rglob即可,不需要改动核心处理逻辑
内容的提问来源于stack exchange,提问作者user2100039
相关产品推荐
相关产品推荐

