Python多进程：如何为已完成进程自动分配新任务？

嘿，这个需求我刚好踩过坑！你现在用的pool.map()确实是一次性把所有任务都塞给进程池，然后得等全部任务跑完才结束，完全没法做到“一个进程空闲就立刻接新活”的动态调度。其实multiprocessing.Pool本身就自带了适合这种场景的方法，给你两种实用的解决方案：

方案一：用imap_unordered（最简洁的实现） #

imap_unordered是map的异步迭代版本，它会在任务完成时立刻返回结果，同时自动管理进程池的空闲进程——只要有一个进程干完活，就会马上从你的文件名列表里取下一个任务分配给它，全程不用手动干预。

代码示例直接适配你的场景：

from multiprocessing import Pool

def run_cli(fname):
    # 这里替换成你的图片处理逻辑
    print(f"开始处理: {fname}")
    # 模拟处理耗时（实际开发中删掉这行）
    # time.sleep(0.5)
    return f"处理完成: {fname}"

def run_pool():
    # 你的800个文件名列表
    lis_fnames = ['im1.jpg','im2.jpg',...,'im800.jpg']
    # 初始化4进程的进程池
    with Pool(processes=4) as pool:
        # 迭代获取完成的任务结果
        for result in pool.imap_unordered(run_cli, lis_fnames):
            # 这里可以加任务完成后的后续逻辑，比如记录日志
            print(result)

小提示： #

• 如果需要保持任务的处理顺序和提交顺序一致，可以把imap_unordered换成imap，不过前者的效率会更高一点，因为不用等待前面的任务完成再返回。
• with语句会自动帮你关闭和销毁进程池，不用手动调用close()和join()。

方案二：用apply_async（更灵活的控制） #

如果需要更自定义的逻辑（比如动态添加任务、处理任务异常、自定义完成回调），apply_async会是更好的选择。它可以异步提交单个任务，进程池会自动调度空闲进程处理，全程保持4个进程处于忙碌状态。

代码示例：

from multiprocessing import Pool
import time

def run_cli(fname):
    try:
        print(f"开始处理: {fname}")
        # 你的图片处理逻辑
        # time.sleep(0.5)
        return f"处理完成: {fname}"
    except Exception as e:
        # 处理任务执行中的异常
        return f"处理失败 {fname}: {str(e)}"

def task_callback(result):
    # 任务完成后的回调函数，可用于记录日志、保存结果等
    print(result)

def run_pool():
    lis_fnames = ['im1.jpg','im2.jpg',...,'im800.jpg']
    with Pool(processes=4) as pool:
        # 批量提交所有任务
        for fname in lis_fnames:
            # 异步提交任务，指定回调函数
            pool.apply_async(run_cli, args=(fname,), callback=task_callback)
        
        # 关闭进程池，不再接受新任务
        pool.close()
        # 等待所有任务执行完成
        pool.join()

优势： #

• 可以给每个任务单独设置回调函数，处理成功/失败的结果
• 支持在运行过程中动态添加新任务（比如从外部队列里取任务）
• 可以更精细地处理任务执行中的异常

总结 #

• 追求简洁高效：选imap_unordered，一行迭代搞定动态调度
• 需要灵活控制：选apply_async，自定义回调、异常处理都不在话下

这两种方案都能实现你要的“一个进程完成就自动分配下一个文件名”的效果，完全不用手动修改文件名或重新运行代码~

内容的提问来源于stack exchange，提问作者Abhay Nainan