Python遍历Unix文件系统及配置定义的通配符路径排除

• 多轮无效扫描：原逻辑将排除规则作为外层循环，每匹配一条规则就从头完成一次全根目录遍历，存在N条排除规则就会重复扫描N轮文件系统，大量磁盘IO完全无效。
• 匹配逻辑失效：拆分root路径为单级片段后随意拼接路径与文件名做匹配，不符合Unix绝对路径的匹配逻辑，极易出现规则明明写了却完全不触发排除的情况。
• 无剪枝能力：原逻辑在进入目录、读完目录下全部子项之后才做排除判断，就算命中规则，也已经完成了目标目录的系统调用读取，无法缩小实际的遍历范围。

• 单轮遍历：全程只对文件系统做一次遍历，每走到一个节点再做规则匹配，遍历次数与排除规则数量完全解耦。
• 原生剪枝：利用os.walk的特性——返回的dirs列表可修改，将命中排除规则的子目录从该列表中移除，os.walk会自动跳过这些子目录，不产生额外的读取开销。这部分带来的性能增益最明显，相比进入目录后再判断的逻辑，可大幅减少无效的磁盘IO调用。
• 标准化路径匹配：所有待判断的目录、文件路径都拼接为从根目录出发的完整绝对路径，经过路径标准化处理后再与排除规则做通配匹配，避免零散路径拼接导致的匹配失效。
• 灵活规则兼容：排除规则支持任意可迭代形式，不管是列表、外部文件逐行生成的生成器、配置文件解析出的规则集合，都可以直接传入使用，无需提前将所有规则加载到内存。

import os
import fnmatch
from typing import Iterable

# 修正原示例笔误（原示例中/var/lock规则缺失闭合引号）后的排除规则示例
EXCLUSIONS = ['/sys/*', '/var/lock/*', '*.pyc/*']

def match_excluded(full_path: str, exclude_rules: Iterable[str]) -> bool:
    """判断路径是否命中排除规则"""
    norm_path = os.path.normpath(full_path)
    for rule in exclude_rules:
        norm_rule = os.path.normpath(rule)
        # 兼容规则下的递归子路径匹配
        if fnmatch.fnmatch(norm_path, norm_rule) or fnmatch.fnmatch(norm_path, norm_rule + '*'):
            return True
    return False

def iter_file_system(root: str = '/', exclude_rules: Iterable[str] = None):
    exclude_rules = exclude_rules or []
    for current_root, dirs, files in os.walk(root):
        # 剪枝：移除命中排除规则的子目录，不进入遍历
        valid_dirs = []
        for dir_name in dirs:
            full_dir = os.path.join(current_root, dir_name)
            if not match_excluded(full_dir, exclude_rules):
                valid_dirs.append(dir_name)
        dirs[:] = valid_dirs

        # 过滤命中排除规则的文件
        valid_files = []
        for file_name in files:
            full_file = os.path.join(current_root, file_name)
            if not match_excluded(full_file, exclude_rules):
                valid_files.append(file_name)
        
        yield current_root, valid_dirs, valid_files

• 排除规则外部加载：可直接逐行读取外部规则文件，跳过注释、空行后生成规则生成器传入函数，无需将所有规则一次性加载到内存，适配大规模规则场景。
• 大规模规则优化：当排除规则数量过百时，可按规则的固定前缀分组，减少单路径需要遍历的规则数量，进一步提升匹配速度。
• 边界适配：可根据需求配置是否跟随软链接，避免软链接循环导致的遍历死循环。

内容的提问来源于stack exchange，提问作者m1ghtfr3e