You need to enable JavaScript to run this app. Python multiprocessing Pool报Too many files open错误问题
优惠活动
大模型
产品
解决方案
定价
更多

Python multiprocessing Pool报Too many files open错误问题

报错根因

本次抛出的OSError: [Errno 24] Too many open files本质是当前Python进程占用的文件描述符数量超过了操作系统的单进程上限,结合你的代码场景,触发逻辑完全和多进程任务调度机制绑定:

  • Linux/macOS默认单进程可打开的文件描述符软限制通常为1024,远低于3万级任务调度时的峰值占用
  • multiprocessing.Pool.map默认会一次性把全部待处理任务加载到主进程的调度队列中,每个待分发的任务、进程间通信的管道、临时数据传输句柄都会占用一个独立的文件描述符,3万任务的规模很容易突破默认限制
  • 子进程长期不退出时,自身累积的打开句柄会进一步抬高整体占用,最终触发系统报错
修复实现方案

按照优先级依次做以下调整即可解决问题:

  • 调整多进程调度策略,降低文件描述符峰值占用
    替换原来的无参数map调用,改用imap_unordered迭代式分发任务,同时配置合理的任务块大小,避免主进程一次性积压全部3万任务:
    import multiprocessing as mp
    # 选择通信开销更低的fork启动上下文,减少额外fd占用
    ctx = mp.get_context("fork")
    # 计算适配的chunksize,避免过小的块大小带来额外通信开销
    proc_count = mp.cpu_count()
    chunksize = max(1, len(x) // (proc_count * 4))
    with ctx.Pool(
        processes=proc_count,
        maxtasksperchild=1000 # 子进程每处理1000个任务就自动重启,释放累积的泄漏fd
    ) as pool:
        d = list(pool.imap_unordered(func, data, chunksize=chunksize))
    
  • 临时提升当前进程的文件描述符上限
    在代码最开头加入系统资源调整逻辑,只提升当前Python进程的软限制到系统允许的最大值,不改动全局系统配置:
    import resource
    soft_nofile, hard_nofile = resource.getrlimit(resource.RLIMIT_NOFILE)
    # 将当前进程的软限制设置为系统允许的硬上限
    resource.setrlimit(resource.RLIMIT_NOFILE, (hard_nofile, hard_nofile))
    
  • 修正原代码中的耗时统计逻辑bug
    原代码里(q-p).microseconds仅会返回时间差中的微秒分量,不是完整的微秒级耗时,比如时间差为2.1秒时,该属性只会返回100000,丢失了2秒对应的2000000微秒,需要替换为基于总秒数换算的计算方式:
    # 替换run函数里的耗时计算逻辑
    res = (q - p).total_seconds() * 1_000_000
    
特殊场景适配
  • Windows系统没有resource模块,不需要加上述资源调整代码,仅通过imap_unordered+合理chunksize的调度调整就可以解决该报错
  • 不要将chunksize设置为1,会导致进程间通信的开销远大于do_something()本身的执行耗时,反而进一步抬高文件描述符占用峰值
  • 不要通过全局修改系统ulimit配置的方式解决该问题,仅在当前进程内做临时调整就可以满足需求

内容的提问来源于stack exchange,提问作者Somnath Rakshit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 06:54:01