如何等待ProcessPoolExecutor进程池空闲worker 避免待处理任务内存过高
实现任务提交背压的可行方案
核心逻辑是在提交环节增加流量控制,保证executor内部待处理队列不会累积超出工作进程数的任务,从根源避免内存占用过高。你不需要修改ProcessPoolExecutor的内部实现,两种成熟的实现方式可以直接套用:
方案1:用信号量做提交流量控制(推荐)
这是最贴合你预期效果的实现,一旦工作进程有空闲,立刻放行新的任务提交,没有额外等待。
from concurrent.futures.process import ProcessPoolExecutor from threading import Semaphore def f(arg): print(f'Arg -> {arg}') # Heavy stuff MAX_WORKERS = 3 executor = ProcessPoolExecutor(max_workers=MAX_WORKERS) # 信号量初始值和工作进程数完全对齐,用来卡提交的节奏 submit_permit = Semaphore(value=MAX_WORKERS) for i in range(20): # 提交前先申请执行名额,名额不足时主线程自动阻塞等待 submit_permit.acquire() try: future = executor.submit(f, i) # 注册回调:不管任务执行成功/抛异常,完成后立刻释放名额 future.add_done_callback(lambda _: submit_permit.release()) except: # 提交流程异常时手动释放名额,避免计数错乱 submit_permit.release() raise executor.shutdown(wait=True)
效果说明
- 程序启动时,信号量持有3个可用名额,前3次循环可直接拿到名额提交任务,信号量计数归0
- 后续循环走到
acquire时会进入阻塞态,直到之前提交的某一个任务执行完成,触发回调把信号量计数+1,才会继续提交下一个任务 - 全程最多只有3个任务进入executor的执行链路,内部待处理队列完全不会堆积多余的重型任务,从根源避免内存浪费
方案2:维护活跃任务集合做计数
不需要引入信号量,靠跟踪已提交未完成的任务状态做控制,逻辑更直观。
from concurrent.futures import ProcessPoolExecutor, wait, FIRST_COMPLETED def f(arg): print(f'Arg -> {arg}') # Heavy stuff MAX_WORKERS = 3 executor = ProcessPoolExecutor(max_workers=MAX_WORKERS) active_futures = set() for i in range(20): # 活跃任务数达到工作进程数时,阻塞等待直到至少一个任务完成 while len(active_futures) >= MAX_WORKERS: # 等待任意任务完成,自动把完成的任务移出活跃集合 done, active_futures = wait( active_futures, return_when=FIRST_COMPLETED ) # 提交新任务,加入活跃集合跟踪 future = executor.submit(f, i) active_futures.add(future) # 等待剩余所有任务执行完成 wait(active_futures) executor.shutdown(wait=True)
效果说明
- 当活跃执行的任务数达到3个时,主线程会暂停提交新任务,直到有任务执行完成腾出位置才继续
- 同样不会让executor内部队列堆积待处理任务,从根源降低内存占用
- 和方案1的区别是,该实现是达到满载后统一等待完成信号,不会在提交间隙实时响应空闲状态,对绝大多数场景来说体验无差异
补充说明:ProcessPoolExecutor的*
max_workers参数仅控制同时运行的工作进程数量*,对提交到内部队列的待处理任务没有数量限制。如果连续快速调用submit,哪怕只有3个工作进程,内部队列也可以堆积成百上千个重型任务对象,这就是你遇到内存占用过高的核心原因。
内容的提问来源于stack exchange,提问作者Genarito
相关产品推荐
相关产品推荐

