Python多进程中process.join()无法等待所有进程完成的问题咨询

问题根源 #

• q.empty()的判断不可靠：子进程可能还在后台处理尚未写入队列，此时队列暂时为空，主进程会提前退出读取循环，导致部分结果丢失。
• 先执行join()再读取队列易引发死锁：当队列缓冲区被占满时，子进程调用queue.put()会阻塞，主进程却在等待子进程结束，形成循环等待。

正确实现方式 #

方式一：使用进程池（推荐，更简洁） #

进程池会自动处理进程管理和结果收集，无需手动维护队列：

from multiprocessing import Pool

def func(args):
    a, b, c, d = args
    # 替换为你的耗时像素匹配逻辑
    out = [a, b, c]
    index = d
    return (out, index)

if __name__ == "__main__":
    nP = 4  # 设定你的进程数量
    params_list = []
    
    for p in range(nP):
        # 替换为你的参数计算逻辑
        a, b, c, d = p, p+1, p+2, p
        params_list.append((a, b, c, d))
    
    with Pool(nP) as pool:
        results = pool.map(func, params_list)
    
    # 拆分结果
    values = [res[0] for res in results]
    kInds = [res[1] for res in results]
    
    # 后续逻辑
    print(values, kInds)

方式二：手动管理进程与队列的正确写法 #

如果坚持手动使用Process和Queue，可以通过固定读取次数（每个进程返回一个结果）来确保不遗漏：

import multiprocessing

def func(a,b,c,d,queue):
    # 替换为你的耗时像素匹配逻辑
    out = [a,b,c]
    index = d
    queue.put((out, index))

if __name__ == "__main__":
    nP = 4  # 设定你的进程数量
    procs = []
    q = multiprocessing.Queue()
    
    for p in range(nP):
        # 替换为你的参数计算逻辑
        a, b, c, d = p, p+1, p+2, p
        proc = multiprocessing.Process(target=func, args=(a,b,c,d,q))
        proc.start()
        procs.append(proc)
    
    # 每个进程会返回一个结果，所以读取nP次
    values = []
    kInds = []
    for _ in range(nP):
        t = q.get()
        values.append(t[0])
        kInds.append(t[1])
        print(t)
    
    # 等待所有进程结束，回收资源
    for pro in procs:
        pro.join()
    
    # 后续逻辑
    print(values, kInds)

额外说明 #

• 固定读取次数的逻辑只适用于每个进程一定会返回且仅返回一个结果的场景，你的像素提取场景正好符合这个条件。
• 避免在主进程中依赖q.empty()做循环判断，该方法的结果受进程调度影响，无法保证准确性。

内容的提问来源于stack exchange，提问作者Cosmo H