如何将Python串行文件索引代码改造为并行执行以提升效率？

我有一段用Python编写的文件索引代码，运行状态良好但为串行执行，完成索引耗时约60秒。理论上通过并行执行可提升速度，但我不知该如何改造，恳请提供帮助或建议。代码如下：

import os
import time
start = time.time()
handle = open("test.txt", "w")
rootDir = '/'
for dirName, subdirList, fileList in os.walk(rootDir):
    for fname in fileList:
        # 这里是处理每个文件的逻辑，比如写入路径到test.txt
        handle.write(f"{dirName}/{fname}\n")
handle.close()
print(f"耗时: {time.time() - start:.2f}秒")

嘿，我来帮你搞定这个并行改造的问题！你的串行代码因为单线程挨个处理文件，所以耗时久，咱们可以用Python自带的并行库来提速，分两种场景给你具体方案：

方案1：用ThreadPoolExecutor（适合IO密集型任务） #

如果你的文件处理只是写入路径这类IO操作，线程池是绝佳选择——IO操作时线程会等待，其他线程可以继续干活，不用浪费CPU资源。不过要注意多线程写入文件必须加锁，不然多个线程同时写会导致内容混乱。

改造后的代码示例：

import os
import time
from concurrent.futures import ThreadPoolExecutor
import threading

# 给文件写入加锁，保证同一时间只有一个线程写文件
write_lock = threading.Lock()

def process_file(dir_name, fname, output_file):
    file_path = os.path.join(dir_name, fname)
    # 要是你还有其他文件处理逻辑（比如读文件内容、算哈希），直接加在这里就行
    with write_lock:
        output_file.write(f"{file_path}\n")

if __name__ == "__main__":
    start = time.time()
    root_dir = '/'
    with open("test.txt", "w") as handle:
        # 先把所有要处理的文件任务收集起来
        tasks = []
        for dir_name, _, file_list in os.walk(root_dir):
            for fname in file_list:
                tasks.append((dir_name, fname, handle))
        
        # 线程数可以调大些（比如16），IO密集型任务不怕多线程
        with ThreadPoolExecutor(max_workers=16) as executor:
            executor.map(lambda args: process_file(*args), tasks)
    
    print(f"耗时: {time.time() - start:.2f}秒")

方案2：用multiprocessing（适合CPU密集型的文件处理） #

如果你的文件处理包含大量CPU计算（比如解析文件内容、生成文件校验和），那多进程更合适——Python的GIL锁会限制线程的CPU并行能力，多进程能绕过这个问题。

注意：多进程里不能直接传递文件对象，所以咱们先收集所有文件路径，子进程处理完后返回结果，最后统一写入文件：

import os
import time
from multiprocessing import Pool, cpu_count

def process_file(args):
    dir_name, fname = args
    file_path = os.path.join(dir_name, fname)
    # 这里放你的CPU密集型处理逻辑，比如计算文件MD5哈希
    # 处理完返回要写入的内容
    return f"{file_path}\n"

if __name__ == "__main__":
    start = time.time()
    root_dir = '/'
    
    # 先收集所有文件任务
    tasks = []
    for dir_name, _, file_list in os.walk(root_dir):
        for fname in file_list:
            tasks.append((dir_name, fname))
    
    # 进程数一般设为CPU核心数，太多进程会增加调度开销
    with Pool(processes=cpu_count()) as pool:
        results = pool.map(process_file, tasks)
    
    # 统一把所有结果写入文件，比零散写入高效
    with open("test.txt", "w") as handle:
        handle.writelines(results)
    
    print(f"耗时: {time.time() - start:.2f}秒")

额外优化建议 #

• 先收集任务再并行：os.walk本身是串行遍历目录的，先把所有文件路径收集起来再并行处理，比边遍历边提交任务更高效。
• 调整并行数：线程池的max_workers别设得太大（比如超过30），不然线程切换开销会抵消并行优势；进程池就用CPU核心数就行。
• 批量写入：不管用哪种方案，尽量减少文件写入次数——比如多进程方案里统一写入结果，比每个进程单独写快很多。
• 测试对比：先试试线程池，再试试进程池，看哪种更适配你的实际任务，毕竟IO和CPU密集型的最优方案不一样。

内容的提问来源于stack exchange，提问作者D. Christopher