Python多进程中Queue的qsize()为1但get_nowait()抛出Empty异常原因

核心原因 #

multiprocessing.Queue的qsize()返回的是近似值，并非绝对准确的实时队列状态，尤其在传输1~2M的base64图像这类大体积数据时，会出现以下关键问题：

• 父进程调用put()时，只要数据的"元信息"已写入队列，qsize()就会计数+1，但实际的大体积数据可能还在通过底层管道传输，并未完全到达子进程可读取的状态。
• qsize()和get_nowait()之间没有原子性保障，两次调用的间隙，队列的实际状态可能已经变化（比如数据还在传输中，子进程侧队列仍为空）。

另外，Python 3.7的multiprocessing.Queue在处理大数据时，底层的序列化/传输可能存在延迟，导致qsize()提前计数，但数据尚未就绪。

解决办法 #

• 放弃依赖qsize()做读取判断：直接使用阻塞式的get()方法，或者设置合理超时的get(timeout=3)，让子进程等待数据完全传输完成。
• 添加同步机制：父进程在完成put()操作后，通过multiprocessing.Event通知子进程数据已准备就绪，子进程收到通知后再执行读取操作。示例代码：

  # 父进程
  event = multiprocessing.Event()
  batch_computing_inputs.put(large_data)
  event.set()  # 通知子进程数据已写入
  
  # 子进程
  event.wait()  # 等待父进程通知
  cur_batch_computing_input = batch_computing_inputs.get_nowait()
  

• 改用Pipe通信：对于父子进程一对一的场景，multiprocessing.Pipe的传输更直接，没有Queue的额外锁和计数逻辑，大数据传输的状态更可控。
• 排查隐性队列操作：确认代码中没有其他线程/进程意外读取了该Queue的数据（虽然你提到只有一个子进程，但仍需排查）。

内容的提问来源于stack exchange，提问作者dongrixinyu