循环复用Python multiprocessing池时遭遇死锁及内存泄漏问题求助

原代码核心问题 #

• 任务生成逻辑错误：gen_batch_samples仅返回单个apply_async任务，但后续代码尝试调用jobs()遍历任务，这会引发调用对象错误，实际需生成批量任务列表。
• 进程池频繁重建导致死锁：每次循环都关闭、销毁并重建进程池，会导致操作系统进程资源未及时回收，进而引发死锁；同时频繁创建销毁进程会带来巨大性能开销。
• 大型全局变量的传递问题：直接使用全局变量时，Windows系统下子进程会重新加载整个模块并重复加载large_global_var，导致内存暴涨；即使Unix下的写时复制，频繁创建进程也会破坏优化效果。

修复后的代码方案 #

优化思路： #

• 复用进程池，避免频繁创建销毁
• 使用进程池初始化函数，将大型全局变量一次性传递给所有子进程（仅初始化时传递一次，避免重复加载/复制）
• 修正任务生成逻辑，批量创建异步任务

import multiprocessing as mp
import dill

# 定义子进程全局变量，用于接收初始化传递的大型数据
_large_var = None

def init_worker(large_var):
    """进程池初始化函数，将大型变量传递给子进程"""
    global _large_var
    _large_var = large_var

def gen_sample():
    """子进程执行的采样函数，使用初始化后的全局变量"""
    subsample = some_sampling_strategy(_large_var)
    return subsample

def gen_batch_samples(pool, batch_size):
    """生成批量异步任务"""
    return [pool.apply_async(gen_sample) for _ in range(batch_size)]

if __name__ == "__main__":
    large_global_var = dill.load(...)
    # 初始化进程池，一次性传递大型变量给所有子进程
    pool = mp.Pool(100, initializer=init_worker, initargs=(large_global_var,))
    
    try:
        for _ in range(1000):
            # 生成批量任务
            jobs = gen_batch_samples(pool, batch_size=100)
            # 获取所有子样本
            subsamples = [job.get() for job in jobs]
            # 处理子样本
            # do something with subsamples
            
            # 显式清理已处理的任务和子样本，帮助GC回收内存
            del jobs, subsamples
    finally:
        # 最后统一关闭进程池
        pool.close()
        pool.join()

关键优化点 #

• 进程池初始化传递变量：通过initializer和initargs，大型变量仅在进程创建时传递一次，所有子进程共享该变量的只读副本（Unix下写时复制，Windows下一次性传递），避免重复加载导致的内存浪费。
• 复用进程池：全程复用同一个进程池，避免频繁创建销毁进程带来的资源泄漏和死锁风险，同时提升性能。
• 显式内存清理：每次循环后删除任务对象和子样本，触发垃圾回收，缓解内存占用问题。
• 修正任务生成逻辑：gen_batch_samples生成指定数量的异步任务列表，符合后续遍历获取结果的逻辑。

无效方案原因解析 #

• 复用池但内存耗尽：未解决大型变量在子进程中的重复加载/复制问题，加上任务处理后未及时清理内存，导致内存持续上涨。
• map替代apply_async：map是阻塞式任务，若未正确控制批量大小，依然会有内存问题；且如果map的实现中未正确处理全局变量，同样会重复加载数据。
• 上下文管理器替代close/join：仅解决了池的关闭规范问题，但未解决频繁重建池和全局变量传递的核心问题。
• 移动全局变量位置：Windows下子进程会重新导入模块，无论全局变量在main内外，都会重复加载；Unix下写时复制的优化被频繁重建池破坏。
• 传递全局变量作为参数：每次任务都传递大型变量的副本，导致内存暴涨，且性能开销巨大。

内容的提问来源于stack exchange，提问作者arnoori