Python Multiprocessing QueueFeederThread队列空后仍不关闭致脚本挂起

问题背景 #

脚本在子进程join后，即便通过两种方式清空了队列（先判断empty()循环消费，再用get_nowait()兜底），且已触发队列空异常，但QueueFeederThread仍处于活跃状态，导致脚本挂起。

核心原因 #

multiprocessing.Queue内部的QueueFeederThread负责将主进程缓冲区的数据传递给子进程。仅清空队列不足以让线程终止——线程会持续监听是否有新数据加入，只有当队列被显式关闭且所有剩余数据处理完毕后，线程才会主动退出。

解决方案 #

在清空队列的操作完成后，添加队列关闭和线程等待的关键步骤：

q = multiprocessing.Queue()
# ...
# 向队列中添加数据、启动子进程、从队列消费等操作
# ...

# 子进程join后，尝试清空队列
while not q.empty():
     foo(q.get())

# 用非阻塞获取兜底，确保无剩余项
while True:
    try:
        q.get_nowait()
    except:
        break

# 关键操作：关闭队列并等待线程终止
q.close()
q.join_thread()

补充说明 #

• q.close()：通知队列不再接收新的写入操作，QueueFeederThread处理完现有数据后会触发退出逻辑。
• q.join_thread()：阻塞当前进程，直到QueueFeederThread完全终止，彻底避免线程残留引发的挂起。

内容的提问来源于stack exchange，提问作者Peatherfed