如何加速os.walk以高效获取test/{A,B,C...}/foo下的匹配文件？

你的os.walk实现会遍历test目录下所有层级的子目录，哪怕是和test/*/foo无关的路径也会被扫描，这是导致速度慢的核心原因。因为你明确知道目标文件只存在于test/{未知子目录}/foo路径下，完全可以精准定位目标目录，避免无意义的IO操作。

方案1：使用glob模块（最简洁高效） #

glob支持通配符路径匹配，可以直接定位到目标文件路径，无需遍历无关目录：

import glob
import os

# 直接匹配test/*/foo下所有以foo开头的文件
file_paths = glob.glob("test/*/foo/foo*")
# 提取文件名（如果需要完整路径可以直接用file_paths）
files_list = [os.path.basename(path) for path in file_paths]

如果你的匹配模式比foo*更复杂（比如需要正则），可以先匹配所有test/*/foo目录，再遍历这些目录内的文件做正则判断：

import glob
import os
import re

pattern = re.compile(r"^foo")
files_list = []
# 先获取所有符合条件的foo目录
foo_dirs = glob.glob("test/*/foo")
for dir_path in foo_dirs:
    for file_name in os.listdir(dir_path):
        file_path = os.path.join(dir_path, file_name)
        if os.path.isfile(file_path) and pattern.match(file_name):
            files_list.append(file_name)

方案2：使用pathlib（Python3.4+，更优雅） #

pathlib提供了面向对象的文件系统操作API，代码可读性更高，同时也能精准定位目标目录：

from pathlib import Path
import re

pattern = re.compile(r"^foo")
files_list = []

# 遍历test目录下的直接子目录
for subdir in Path("test").iterdir():
    if not subdir.is_dir():
        continue
    # 检查当前子目录下是否存在foo子目录
    foo_dir = subdir / "foo"
    if foo_dir.is_dir():
        # 遍历foo目录下的文件，匹配正则
        for file in foo_dir.iterdir():
            if file.is_file() and pattern.match(file.name):
                files_list.append(file.name)

如果是简单的前缀匹配，也可以用pathlib的glob方法简化：

from pathlib import Path

files_list = []
for foo_file in Path("test").glob("*/foo/foo*"):
    if foo_file.is_file():
        files_list.append(foo_file.name)

为什么这些方案更快？ #

• 减少IO次数：原os.walk会递归遍历test下所有层级的目录，而优化后的方案只扫描test的直接子目录，以及其中的foo目录，避免了大量无关目录的IO操作。
• 精准匹配：通过通配符直接定位目标路径，不需要在所有遍历到的文件中做过滤判断，减少了无效的条件检查。

内容的提问来源于stack exchange，提问作者user22990699