multiprocessing.Queue存入大量元素时进程挂起问题求助

核心原因 #

这个问题的本质是multiprocessing.Queue的底层管道缓冲区容量限制，结合其内部feeder线程的退出逻辑导致的阻塞。

详细拆解 #

1. multiprocessing.Queue的工作机制
   Queue内部依赖操作系统的匿名管道实现进程间通信，同时启动了一个后台feeder线程——它的作用是将你通过put()存入的元素先序列化（默认用pickle），再写入管道中。

2. 管道缓冲区的容量限制
   操作系统的管道有固定的默认缓冲区大小（Linux上通常是64KB，即65536字节）。当你存入队列的元素总序列化字节数超过这个缓冲区时，feeder线程会阻塞在管道写入操作上——因为管道已满，且没有任何其他进程/线程读取管道内容来释放空间。

3. 进程退出时的阻塞逻辑
   当主进程准备退出时，Python的multiprocessing模块会触发atexit回调，其中包含等待feeder线程结束的逻辑（_finalize_join函数）。但此时feeder线程因管道满而处于阻塞状态，无法主动结束，导致主进程一直等待，表现为“挂起”。

4. 阈值3575的由来
   你测试的int类型，经过pickle序列化后的单元素大小约为18字节。计算一下：

   • 3575个元素：3575 * 18 = 64350字节，接近64KB的缓冲区上限但未超过；
   • 3576个元素：3576 * 18 = 64368字节，刚好超过64KB，触发管道满的阻塞条件。
     这也是为什么存入更大的元素（比如i*i、长字符串）时阈值会变化——因为单个元素的序列化字节数变大，总容量更快达到管道缓冲区上限。

5. 为什么test_queue.close()无效
   close()只是关闭队列的写入端，通知其他进程/线程不会再写入数据，但它无法解决已经发生的管道满阻塞问题——feeder线程此时仍卡在写入操作上，无法响应关闭信号并退出。

解决思路 #

• 退出前确保队列中的元素被全部读取（调用get()直到队列为空）；
• 使用multiprocessing.JoinableQueue，在存入元素后调用task_done()，退出前调用join()等待队列处理完成；
• 若不需要保留队列内容，可在退出前手动清空队列（比如循环调用get_nowait()并忽略异常）。

内容的提问来源于stack exchange，提问作者Captain Trojan