You need to enable JavaScript to run this app. Path().rglob()遍历大目录/盘符时脚本卡顿如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

Path().rglob()遍历大目录/盘符时脚本卡顿如何解决?

问题成因

  • Python 3.11之前的Path.rglob()实现逻辑缺陷:旧版本的rglob会先完成全路径递归扫描、把所有匹配的路径全部收集到内存列表之后,才会返回迭代器供你遍历输出。当扫描对象是整个C盘这种包含数十上百万文件/目录的大路径时,全量扫描收集的过程会持续数秒甚至更久,全程没有任何输出,表现为卡顿挂起。小目录扫描时全量收集耗时极短,因此感知不到问题。
  • Windows系统盘存在大量受限路径:System Volume Information、$Recycle.Bin、受权限保护的Program Files目录、其他用户的个人目录等,扫描到这些路径时会触发系统权限拦截、访问重试,进一步拉长全量扫描的耗时。

解决方案

1. 升级Python到3.11及以上版本

Python 3.11重构了rglob()的实现,改为惰性迭代机制,每扫描到一个匹配项就会立即返回,不需要等待全量扫描完成,能大幅降低首次输出结果的等待时间。

2. 手动实现遍历逻辑,跳过无效路径

如果不方便升级Python版本,可以改用os.walk自己实现匹配逻辑,主动跳过系统受限目录,避免不必要的扫描耗时:

import os

# 提前定义要跳过的系统目录前缀,减少无效遍历
SKIP_DIRS = {"System Volume Information", "$Recycle.Bin", "Windows", "Program Files", "Program Files (x86)"}

for root, dirs, files in os.walk("C:\\"):
    # 遇到跳过目录直接终止子目录遍历
    for skip in SKIP_DIRS:
        if skip in root:
            dirs[:] = []
            break
    else:
        # 匹配到Downloads目录直接输出
        if "Downloads" in dirs:
            print(os.path.join(root, "Downloads"))
        # 过滤掉无读取权限的目录,避免访问卡顿
        try:
            dirs[:] = [d for d in dirs if os.access(os.path.join(root, d), os.R_OK)]
        except:
            dirs[:] = []

3. 为高版本Python的rglob添加错误处理逻辑

Python 3.12及以上版本给rglob()新增了on_error参数,可以指定错误处理函数直接跳过权限异常,避免扫描卡顿:

from pathlib import Path

# 遇到错误直接忽略,继续遍历后续路径
def ignore_error(exc):
    return

for p in Path("C:\\").rglob("Downloads", on_error=ignore_error):
    print(p)

内容的提问来源于stack exchange,提问作者malonn

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 14:54:01