Windows环境下并行化os.walk计算文件总大小变慢，如何优化？

为什么并行化后更慢？ #

在Windows+Python3.8环境下，用ProcessPoolExecutor并行反而变慢主要有两个核心原因：

• 进程开销大：Windows多进程采用spawn启动方式，每个进程都要重新初始化Python解释器、导入模块，开销远大于Linux的fork。如果任务粒度太小（比如单个文件的getsize调用），进程启动和通信的成本会完全覆盖并行收益。
• SSD IO瓶颈：本地SSD的IO带宽和IOPS是有限的，并行读取反而容易引发IO竞争，尤其是小文件密集场景，串行遍历的效率可能更高。

具体优化步骤 #

1. 优先优化串行代码（性价比最高） #

用os.scandir替代os.walk + os.path.getsize，前者在遍历目录时会缓存文件的元数据（比如大小），无需额外系统调用，能大幅减少IO开销：

import os

def calculate_total_size(path):
    total = 0
    with os.scandir(path) as entries:
        for entry in entries:
            if entry.is_file(follow_symlinks=False):
                # 直接用缓存的stat信息，避免重复调用os.path.getsize
                total += entry.stat().st_size
            elif entry.is_dir(follow_symlinks=False):
                total += calculate_total_size(entry.path)
    return total

# 调用示例
total = calculate_total_size(".")
print(f"总大小: {total} 字节")

Python 3.5+的os.walk底层已改用scandir，但单独调用os.path.getsize仍会触发额外的系统调用，所以直接用scandir递归遍历是最优的串行实现。

2. 合理并行化（仅当串行仍不够快时） #

如果需要并行，必须增大任务粒度，避免给单个文件分配任务；同时优先用线程池而非进程池，因为IO密集型任务线程的开销远低于进程：

用ThreadPoolExecutor实现并行

from concurrent.futures import ThreadPoolExecutor
import os

def dir_size(path):
    total = 0
    with os.scandir(path) as entries:
        for entry in entries:
            if entry.is_file(follow_symlinks=False):
                total += entry.stat().st_size
            elif entry.is_dir(follow_symlinks=False):
                total += dir_size(entry.path)
    return total

def calculate_total_size_parallel(root):
    # 收集所有待处理的目录（任务粒度为整个目录）
    dirs = []
    for root_dir, subdirs, _ in os.walk(root):
        dirs.append(root_dir)
        dirs.extend(os.path.join(root_dir, d) for d in subdirs)
    
    # 控制线程数量，避免IO竞争（建议设为CPU核心数或4-8）
    with ThreadPoolExecutor(max_workers=4) as executor:
        results = executor.map(dir_size, dirs)
    
    return sum(results)

# 调用示例
total = calculate_total_size_parallel(".")
print(f"总大小: {total} 字节")

若必须用进程池（不推荐）

如果一定要用ProcessPoolExecutor，同样要保证任务粒度足够大，同时尽量减少进程间的数据传递：

from concurrent.futures import ProcessPoolExecutor
import os

# dir_size函数同上

def calculate_total_size_process(root):
    dirs = []
    for root_dir, subdirs, _ in os.walk(root):
        dirs.append(root_dir)
        dirs.extend(os.path.join(root_dir, d) for d in subdirs)
    
    # 进程数建议不超过CPU核心数
    with ProcessPoolExecutor(max_workers=os.cpu_count()) as executor:
        results = executor.map(dir_size, dirs)
    
    return sum(results)

3. 额外优化细节 #

• 关闭符号链接跟随：设置follow_symlinks=False，避免不必要的IO操作。
• 避免重复统计：确保目录列表无重复，减少冗余计算。
• 测试不同线程/进程数：根据SSD性能和文件分布，调整max_workers，找到最优值。

总结 #

优先优化串行代码是提升性能的关键，os.scandir能带来最显著的速度提升；仅当串行无法满足需求时，再考虑并行化，且优先选择线程池，同时保证任务粒度足够大，避免IO竞争和进程/线程开销。

内容的提问来源于stack exchange，提问作者EllipticalInitial