Python multiprocessing.Queue在Windows下的异常挂起问题求助

问题原因 #

这是Windows平台下Python multiprocessing.Queue的特有问题：

• Windows采用spawn方式创建子进程，Queue内部依赖后台线程管理管道通信。
• 当队列中元素数量超过内部缓冲区阈值（测试中为716）时，抛出异常后，后台线程仍在等待管道数据写入完成，导致主进程无法正常退出，陷入挂起状态。
• Linux采用fork机制，Queue实现逻辑不同，因此不会出现该问题。

解决方法 #

方法1：显式清理队列后台线程 #

在抛出异常前，显式关闭队列并等待后台线程结束，确保资源被正确回收：

from multiprocessing import Queue

a = list(range(717))
queue: Queue = Queue()
try:
    for item in a:
        queue.put(item)
    raise ValueError(f"my len: {len(a)}")
finally:
    # 关闭队列，停止接收新元素
    queue.close()
    # 等待后台线程完成剩余写入操作并退出
    queue.join_thread()

方法2：使用Manager托管的Queue #

multiprocessing.Manager().Queue()由独立的服务进程管理，不依赖主进程的后台线程，从根源避免挂起问题：

from multiprocessing import Manager

a = list(range(717))
# 使用Manager创建队列
queue = Manager().Queue()
for item in a:
    queue.put(item)
raise ValueError(f"my len: {len(a)}")

方法3：提前清空队列（备选） #

在退出前将队列中所有元素取出，减少后台线程的待处理任务，不过这种方式可靠性不如前两种：

from multiprocessing import Queue

a = list(range(717))
queue: Queue = Queue()
try:
    for item in a:
        queue.put(item)
    raise ValueError(f"my len: {len(a)}")
finally:
    # 清空队列
    while not queue.empty():
        queue.get()

内容的提问来源于stack exchange，提问作者Alberto B