Python多进程负载不均问题：两子进程未均分任务求解决方案

嘿，这个问题我之前踩过坑！咱们先说说为什么会出现这种情况，再给你正确的实现方式～

问题根源 #

你的代码里有两个关键问题导致了负载不均：

1. qsize()不可靠：multiprocessing.Queue.qsize()的返回值不是进程安全的，它只能提供一个近似的队列长度，在多进程竞争的场景下，这个值可能刚被读取就过时了。比如当进程2启动后检查qsize()时，进程1可能已经把队列里的大部分元素都取走了，这时候进程2看到队列“为空”，就直接退出了，只处理了刚好抢到的那一个元素。
2. 循环条件错误：用队列是否为空作为循环终止条件，在多进程环境下完全不可行——进程调度的时机是不确定的，很容易出现一个进程抢完大部分任务的情况。

正确实现方式：用哨兵值控制进程退出 #

解决这个问题的标准做法是给队列添加哨兵值（比如None），让worker进程知道什么时候停止工作。因为Queue.get()默认是阻塞的，worker会一直等待新的任务，直到拿到哨兵值才退出，这样就能保证所有任务都被处理，而且负载会自然均衡。

修改后的代码如下：

#!/usr/bin/python
import os
import multiprocessing

# Worker function
def worker(queueA, queueB):
    while True:
        item = queueA.get()
        # 收到哨兵值，退出循环
        if item is None:
            break
        item = f"item: {item}. processed by worker {os.getpid()}"
        queueB.put(item)
    return

# 初始化队列（这里直接用multiprocessing.Queue即可，Manager队列适合跨更多进程场景）
queueA = multiprocessing.Queue()
queueB = multiprocessing.Queue()

# 填充任务数据
for i in range(0, 10):
    queueA.put(f"hello{i+1}")

# 给每个worker添加一个哨兵值，确保每个进程都能收到停止信号
worker_count = 2
for _ in range(worker_count):
    queueA.put(None)

# 创建进程
process1 = multiprocessing.Process(target=worker, args=(queueA, queueB))
process2 = multiprocessing.Process(target=worker, args=(queueA, queueB))

# 启动进程
process1.start()
process2.start()

# 等待进程执行完毕
process1.join()
process2.join()

# 打印处理结果
while not queueB.empty():
    print(queueB.get())

改动说明 #

• worker函数：把循环条件改成while True，通过判断是否收到None来退出，这样worker会一直阻塞等待任务，直到明确收到停止信号。
• 添加哨兵值：在所有任务放入队列后，给每个worker进程添加一个None哨兵，确保每个进程都能收到停止信号，不会一直阻塞。
• 结果遍历：用queueB.empty()代替qsize()来遍历结果，虽然empty()也不是100%可靠，但在单进程读取结果的场景下足够安全。

预期输出 #

运行修改后的代码，你会看到两个进程大致均分任务，类似这样：

item: hello1. processed by worker 12345
item: hello3. processed by worker 12346
item: hello2. processed by worker 12345
item: hello5. processed by worker 12346
item: hello4. processed by worker 12345
...（其余任务会被两个进程交替处理）

额外注意点 #

• 永远不要依赖qsize()、empty()这类方法做流程控制，它们只能作为参考，不能保证准确性。
• 哨兵值的数量必须和worker进程数量一致，否则会有进程一直阻塞等待哨兵，导致程序无法退出。

内容的提问来源于stack exchange，提问作者x_x