Python multiprocessing Pool报Too many files open错误问题
报错根因
本次抛出的OSError: [Errno 24] Too many open files本质是当前Python进程占用的文件描述符数量超过了操作系统的单进程上限,结合你的代码场景,触发逻辑完全和多进程任务调度机制绑定:
- Linux/macOS默认单进程可打开的文件描述符软限制通常为1024,远低于3万级任务调度时的峰值占用
multiprocessing.Pool.map默认会一次性把全部待处理任务加载到主进程的调度队列中,每个待分发的任务、进程间通信的管道、临时数据传输句柄都会占用一个独立的文件描述符,3万任务的规模很容易突破默认限制- 子进程长期不退出时,自身累积的打开句柄会进一步抬高整体占用,最终触发系统报错
修复实现方案
按照优先级依次做以下调整即可解决问题:
- 调整多进程调度策略,降低文件描述符峰值占用
替换原来的无参数map调用,改用imap_unordered迭代式分发任务,同时配置合理的任务块大小,避免主进程一次性积压全部3万任务:import multiprocessing as mp # 选择通信开销更低的fork启动上下文,减少额外fd占用 ctx = mp.get_context("fork") # 计算适配的chunksize,避免过小的块大小带来额外通信开销 proc_count = mp.cpu_count() chunksize = max(1, len(x) // (proc_count * 4)) with ctx.Pool( processes=proc_count, maxtasksperchild=1000 # 子进程每处理1000个任务就自动重启,释放累积的泄漏fd ) as pool: d = list(pool.imap_unordered(func, data, chunksize=chunksize)) - 临时提升当前进程的文件描述符上限
在代码最开头加入系统资源调整逻辑,只提升当前Python进程的软限制到系统允许的最大值,不改动全局系统配置:import resource soft_nofile, hard_nofile = resource.getrlimit(resource.RLIMIT_NOFILE) # 将当前进程的软限制设置为系统允许的硬上限 resource.setrlimit(resource.RLIMIT_NOFILE, (hard_nofile, hard_nofile)) - 修正原代码中的耗时统计逻辑bug
原代码里(q-p).microseconds仅会返回时间差中的微秒分量,不是完整的微秒级耗时,比如时间差为2.1秒时,该属性只会返回100000,丢失了2秒对应的2000000微秒,需要替换为基于总秒数换算的计算方式:# 替换run函数里的耗时计算逻辑 res = (q - p).total_seconds() * 1_000_000
特殊场景适配
- Windows系统没有
resource模块,不需要加上述资源调整代码,仅通过imap_unordered+合理chunksize的调度调整就可以解决该报错 - 不要将chunksize设置为1,会导致进程间通信的开销远大于
do_something()本身的执行耗时,反而进一步抬高文件描述符占用峰值 - 不要通过全局修改系统
ulimit配置的方式解决该问题,仅在当前进程内做临时调整就可以满足需求
内容的提问来源于stack exchange,提问作者Somnath Rakshit
相关产品推荐
相关产品推荐

