执行数百个任务后Multiprocessing进程挂起求助

兄弟，我来帮你捋捋这个问题——从你描述的现象来看，这大概率是多进程场景下的资源阻塞或者未捕获异常导致的，结合你为了适配bgzip调整了文件开闭逻辑的背景，咱们一步步拆解可能的原因和解决办法：

1. 先排查消费者进程是不是“罢工”了 #

你说最后所有parts都打印了，但'get'不再输出，这说明生产者已经把所有任务都塞进队列了，但消费者进程可能卡在某个环节没继续干活。最常见的情况是：消费者在处理bgzip或者文件操作时抛出了异常，但你没加捕获，导致进程直接崩溃，没法继续取任务打印'get'。

给你的消费者函数加个完整的异常捕获试试，比如：

def consumer(queue):
    while True:
        try:
            part = queue.get()
            print('get')
            # 你的bgzip处理和文件操作逻辑
            with open(你的文件路径, 'wb') as f:
                # 执行bgzip相关操作
            queue.task_done()  # 别忘了这个关键步骤！
        except Exception as e:
            print(f"消费者进程出错啦：{str(e)}")
            # 如果是收到终止信号，就退出循环
            if isinstance(e, StopIteration):
                break

这样就能看到是不是某个任务处理时炸了，导致消费者直接罢工。

2. 看看bgzip是不是把系统资源榨干了 #

bgzip是吃CPU的主儿，如果你的消费者进程数设得太夸张（比如远超CPU核心数），或者每个part的文件块太大，很可能导致系统CPU/内存耗尽，进程直接假死。

• 先检查消费者进程数：建议设成os.cpu_count()左右，别贪多，不然反而会因为进程切换拖慢速度。
• 要是处理的文件块很大，试试把每个part切小一点，减少单个进程的内存占用。

3. 文件操作有没有隐性阻塞？ #

虽然你在函数里单独处理文件开闭，但如果多个进程同时写同一个文件（哪怕是追加模式），很可能会触发系统的文件锁机制，导致进程卡在IO上。

如果是多进程写同一个文件，一定要加个进程锁同步：

from multiprocessing import Lock

# 主进程里创建全局锁
file_lock = Lock()

def consumer(queue, file_lock):
    while True:
        part = queue.get()
        print('get')
        # 加锁后再执行文件写入，避免资源竞争
        with file_lock:
            with open('output.bgzip', 'ab') as f:
                # 写入处理后的bgzip内容
        queue.task_done()

4. 别漏了task_done()和join()的配对！ #

如果你的主进程调用了queue.join()，但消费者没在每次get()后调用queue.task_done()，主进程会一直傻等，看起来就像代码挂起了。一定要确保这俩操作配对，不然队列会认为任务还没完成，主进程永远不会往下走。

内容的提问来源于stack exchange，提问作者Cindy Almighty