如何编写最优化函数在多目录中查找指定文件的完整路径？

针对给定的文件名列表和嵌套目录搜索路径，我们可以通过以下思路实现高效的文件查找：

核心优化思路 #

1. 快速存在性检查：将目标文件名转为集合，把判断文件是否属于目标的操作从O(n)优化到O(1)
2. 提前终止遍历：单个路径下找到所有目标文件后立即停止遍历，减少无效IO操作
3. 并行处理多路径：利用线程池同时搜索多个独立路径，充分利用IO等待时间提升整体效率
4. 容错处理：自动跳过不存在的搜索路径，避免运行时报错

完整实现代码 #

import os
from collections import defaultdict
from concurrent.futures import ThreadPoolExecutor

def find_target_files(target_files, search_paths):
    target_set = set(target_files)
    file_paths = defaultdict(list)

    def search_single_path(base_path):
        """处理单个搜索路径的文件查找逻辑"""
        path_results = {}
        if not os.path.isdir(base_path):
            return path_results
        
        for root, _, files in os.walk(base_path):
            # 批量检查当前目录下的目标文件
            for filename in files:
                if filename in target_set:
                    full_path = os.path.normpath(os.path.join(root, filename))
                    path_results.setdefault(filename, []).append(full_path)
            
            # 提前终止：当前路径已找到所有目标文件，无需继续遍历深层目录
            if len(path_results) == len(target_set):
                break
        return path_results

    # 线程池并行处理多路径搜索（IO密集型场景下线程池比进程池更高效）
    with ThreadPoolExecutor() as executor:
        futures = [executor.submit(search_single_path, path) for path in search_paths]
        # 收集并合并所有路径的搜索结果
        for future in futures:
            result = future.result()
            for fname, paths in result.items():
                file_paths[fname].extend(paths)
    
    # 可选：对每个文件的路径去重（避免重复记录同一文件的软链接或复制件）
    for fname in file_paths:
        file_paths[fname] = list(set(file_paths[fname]))
    
    return dict(file_paths)

# 使用示例
if __name__ == "__main__":
    files = (
        "myinstruction.txt",
        "myinfo.txt",
        "mydata.txt",
        "myclients.txt",
        "foo.txt",
    )

    search_paths = (
       "C:/Users/Foo/Desktop/thisfolder/",
       "F:/Documents/mylibrary/",
       "F:/Folder/mylibrary/",
       "E:/Otherfolder/foolibrary/",
    )

    results = find_target_files(files, search_paths)

    # 打印查找结果
    for filename, paths in results.items():
        print(f"文件 {filename} 的完整路径：")
        for path in paths:
            print(f"  - {path}")

额外说明 #

• Python 3.5+版本的os.walk默认使用os.scandir实现，比旧版本的os.listdir更快，能直接获取文件属性以减少额外系统调用
• 如果需要区分真实文件和软链接，可以在记录路径时加上os.path.isfile(full_path)判断；若要跳过软链接指向的目录，可修改os.walk的followlinks参数为False
• 若搜索路径包含大量深层嵌套目录，提前终止逻辑能显著减少不必要的遍历时间

内容的提问来源于stack exchange，提问作者DB3D