Python多进程Queue实现问题：进程完成后仅输出一次关闭提示

嘿，我明白你现在的困惑啦！咱们先拆解一下问题根源，再一步步解决～

问题根源 #

你当前的代码里，p.map(mp_worker, id_list)会把id_list中的每个元素单独传给mp_worker函数执行——也就是说，10个元素会触发10次mp_worker调用，所以"worker closed"会打印10次，这显然和你预期的每个进程完成任务后只打印一次不符。

你的核心需求是：每个进程处理完分配给自己的所有元素后仅输出一次关闭提示，同时要用到Queue机制。下面给你两种解决方案：

方案1：基于Pool拆分子列表（简单适配原有逻辑） #

这种方式直接把原列表拆分为两个子列表，让每个进程处理一个完整的子列表，处理完所有元素后再打印关闭提示：

from multiprocessing import Pool
import time

id_list = [1,2,3,4,5,6,7,8,9,10]

def mp_worker(sub_list):
    # 遍历处理当前进程分配到的所有元素
    for record in sub_list:
        try:
            print(record)
            time.sleep(1)
        except:
            pass
    # 所有元素处理完成后，仅打印一次关闭提示
    print(f"Worker handling {sub_list} closed")

def mp_handler():
    # 将id_list拆分为两个均等的子列表
    split_idx = len(id_list) // 2
    sub_lists = [id_list[:split_idx], id_list[split_idx:]]
    
    p = Pool(processes=2)
    # 给每个进程传递一个子列表，而非单个元素
    p.map(mp_worker, sub_lists)
    p.close()
    p.join()

mp_handler()

方案2：用Queue手动管理任务分发（符合你的Queue应用需求） #

如果需要明确使用Queue机制，我们可以直接创建Process，通过Queue传递任务，让进程从队列中取任务直到收到结束信号，再打印关闭提示：

from multiprocessing import Process, Queue
import time

id_list = [1,2,3,4,5,6,7,8,9,10]

def mp_worker(task_queue):
    while True:
        record = task_queue.get()
        # 收到约定的结束信号（None）时，退出循环
        if record is None:
            break
        try:
            print(record)
            time.sleep(1)
        except:
            pass
    # 所有任务处理完成后，仅打印一次关闭提示
    print("Worker closed")

def mp_handler():
    task_queue = Queue()
    
    # 将所有任务放入队列
    for record in id_list:
        task_queue.put(record)
    
    # 创建并启动2个工作进程，传入任务队列
    processes = []
    for _ in range(2):
        p = Process(target=mp_worker, args=(task_queue,))
        processes.append(p)
        p.start()
    
    # 给每个进程发送结束信号，告知任务已全部分发
    for _ in range(2):
        task_queue.put(None)
    
    # 等待所有进程执行完成
    for p in processes:
        p.join()

mp_handler()

补充说明 #

• 方案1更简洁，适配你原本使用Pool的习惯，但任务分发由Pool自动完成；
• 方案2通过Queue手动控制任务流，更灵活，能清晰体现Queue在多进程间传递数据的作用，完全满足你对Queue机制的学习需求。

内容的提问来源于stack exchange，提问作者FlyingZebra1