使用map_async后主循环仍阻塞于多进程线程池的问题求助

你的问题核心在于result.get()方法默认是阻塞的——哪怕你用了map_async这种非阻塞提交任务的方法，调用get()时主线程还是会等待所有任务完成才继续执行，这就导致整个循环被卡住了。ready()方法只是用来检查任务是否完成，但不能替代非阻塞的结果获取。

1. 给get()设置超时时间实现非阻塞 #

你可以给get()传入timeout=0参数，这样当结果未准备好时，方法会直接抛出multiprocessing.TimeoutError异常，捕获这个异常就能跳过结果处理，继续执行循环的其他逻辑：

import multiprocessing as mp

def double(x):
    return x * 2

pool = mp.Pool()
items = [1, 2, 3, 4]
result = None

while True:
    if result:
        try:
            # 非阻塞获取结果，超时0秒
            for value in result.get(timeout=0):
                print(value)
            # 结果处理完后重置result，触发下一轮任务提交
            result = None
        except mp.TimeoutError:
            # 结果未准备好，跳过处理
            pass
    if not result:
        result = pool.map_async(double, items)
    print("This should still execute even when results aren't ready!")

2. 使用imap_unordered逐个获取已完成的结果 #

如果你的场景不需要等待所有任务完成再处理结果，而是可以逐个处理已完成的任务，imap_unordered会更合适——它返回一个迭代器，每次迭代会返回一个已经完成的任务结果，不会阻塞主线程等待所有任务：

import multiprocessing as mp

def double(x):
    return x * 2

pool = mp.Pool()
items = [1, 2, 3, 4]

while True:
    # imap_unordered非阻塞提交任务，返回迭代器
    result_iter = pool.imap_unordered(double, items)
    for value in result_iter:
        print(value)
        # 每次拿到一个结果后，继续执行循环的其他逻辑
        print("This executes while waiting for other results!")
    print("All tasks finished, starting next batch!")

3. 使用apply_async配合回调函数 #

如果希望完全不阻塞主线程处理结果，可以用apply_async给每个任务单独设置回调函数，任务完成后自动调用回调处理结果，主线程可以持续执行其他逻辑：

import multiprocessing as mp
import time

def double(x):
    return x * 2

def handle_result(value):
    print(value)

pool = mp.Pool()
items = [1, 2, 3, 4]

while True:
    # 给每个任务提交并设置回调
    for item in items:
        pool.apply_async(double, args=(item,), callback=handle_result)
    # 主线程可以自由执行其他逻辑，无需等待结果
    print("This runs continuously without blocking!")
    # 加小延迟避免循环过度占用资源
    time.sleep(0.5)

• 循环提交新任务集时，要确保上一轮任务结果处理完成后再提交，避免任务堆积。
• 程序结束前记得调用pool.close()和pool.join()释放进程池资源。

内容的提问来源于stack exchange，提问作者MirceaKitsune