Python中遍历文件夹VS遍历文件名列表：哪种效率更高？

好问题！我之前处理过类似的大文件夹查找需求，其实得结合目标文件名的数量和文件夹的规模来具体分析，两种方式各有适用场景：

先搞懂两种方式的底层逻辑 #

• 直接用glob实时遍历：每次查找单个目标文件时，都要和文件系统交互——去目标目录里检查该文件是否存在。本质是反复发起文件系统的IO请求，每次查找都要读取目录的元数据。
• 预生成全量文件名列表/集合：一次性遍历整个文件夹，把所有文件名加载到内存的集合（注意是集合不是普通列表）里，之后的查找都是内存级别的键值匹配，完全绕开文件系统IO。

分场景看效率差异 #

1. 目标文件名数量很少（比如几十上百个） #

两种方式的效率差异不大，甚至直接用glob可能更快。因为预生成全量列表需要先扫一遍整个几百GB的文件夹（哪怕文件名占内存不多，遍历过程本身也有IO开销），而直接逐个glob目标文件，总共只需要发起几十次IO请求，总耗时可能更短。

2. 目标文件名数量很多（比如几千上万个） #

预生成文件名集合的方式绝对更高效，原因很简单：文件系统的IO操作是相对极慢的（比内存操作慢几个数量级）。一次性把所有文件名加载到哈希集合（比如Python的set）后，每次查找都是O(1)的常数时间，完全不需要再碰文件系统。而如果用glob逐个查找，几千次IO请求的累积开销会非常大，哪怕文件系统有缓存加持，也远不如内存集合的查找速度。

关键优化点：用哈希集合而非普通列表 #

如果你选择预生成列表的方式，千万别用普通列表存储文件名！普通列表的查找是O(n)的线性遍历，当文件夹里有几百万个文件时，每次查找都要扫一遍整个列表，效率反而可能比glob还低。一定要把文件名转成哈希集合，这样才能享受到O(1)的快速查找。

举个Python的代码对比：

低效的普通列表遍历 #

import os

folder = "/path/to/large-folder"
all_files = os.listdir(folder)  # 普通列表
targets = ["file1.bin", "file2.bin", ...]  # 大量目标

found = []
for target in targets:
    if target in all_files:  # O(n)线性查找，慢！
        found.append(os.path.join(folder, target))

高效的哈希集合查找 #

import os

folder = "/path/to/large-folder"
all_files_set = set(os.listdir(folder))  # 转成集合，O(1)查找
targets = ["file1.bin", "file2.bin", ...]

found = [os.path.join(folder, t) for t in targets if t in all_files_set]

特殊情况：动态变化的文件夹 #

如果你的文件夹是动态的（比如有其他程序在实时增删文件），那预生成的集合会存在“数据过期”的问题——你查到的文件可能已经被删除，或者新文件不在集合里。这种情况下，你只能选择实时遍历的方式来保证准确性，但如果是静态文件夹（文件不会变动），预生成集合的方式完胜。

总结 #

• 目标少：随便选，直接glob略快
• 目标多：必选预生成哈希集合，效率提升几个量级
• 动态文件夹：只能用实时遍历

内容的提问来源于stack exchange，提问作者Danilus