Path().rglob()遍历大目录/盘符时脚本卡顿如何解决?
问题成因
- Python 3.11之前的
Path.rglob()实现逻辑缺陷:旧版本的rglob会先完成全路径递归扫描、把所有匹配的路径全部收集到内存列表之后,才会返回迭代器供你遍历输出。当扫描对象是整个C盘这种包含数十上百万文件/目录的大路径时,全量扫描收集的过程会持续数秒甚至更久,全程没有任何输出,表现为卡顿挂起。小目录扫描时全量收集耗时极短,因此感知不到问题。 - Windows系统盘存在大量受限路径:
System Volume Information、$Recycle.Bin、受权限保护的Program Files目录、其他用户的个人目录等,扫描到这些路径时会触发系统权限拦截、访问重试,进一步拉长全量扫描的耗时。
解决方案
1. 升级Python到3.11及以上版本
Python 3.11重构了rglob()的实现,改为惰性迭代机制,每扫描到一个匹配项就会立即返回,不需要等待全量扫描完成,能大幅降低首次输出结果的等待时间。
2. 手动实现遍历逻辑,跳过无效路径
如果不方便升级Python版本,可以改用os.walk自己实现匹配逻辑,主动跳过系统受限目录,避免不必要的扫描耗时:
import os # 提前定义要跳过的系统目录前缀,减少无效遍历 SKIP_DIRS = {"System Volume Information", "$Recycle.Bin", "Windows", "Program Files", "Program Files (x86)"} for root, dirs, files in os.walk("C:\\"): # 遇到跳过目录直接终止子目录遍历 for skip in SKIP_DIRS: if skip in root: dirs[:] = [] break else: # 匹配到Downloads目录直接输出 if "Downloads" in dirs: print(os.path.join(root, "Downloads")) # 过滤掉无读取权限的目录,避免访问卡顿 try: dirs[:] = [d for d in dirs if os.access(os.path.join(root, d), os.R_OK)] except: dirs[:] = []
3. 为高版本Python的rglob添加错误处理逻辑
Python 3.12及以上版本给rglob()新增了on_error参数,可以指定错误处理函数直接跳过权限异常,避免扫描卡顿:
from pathlib import Path # 遇到错误直接忽略,继续遍历后续路径 def ignore_error(exc): return for p in Path("C:\\").rglob("Downloads", on_error=ignore_error): print(p)
内容的提问来源于stack exchange,提问作者malonn
相关产品推荐
相关产品推荐

