Pathos.multiprocessing的ProcessingPool是否非本地？内存持续增长求助

你的问题核心在于每次调用myFunc都会新建一个ProcessingPool，但没有正确回收进程池资源，循环上千次后，大量闲置进程堆积在系统中，最终导致内存占用飙升到GB级。结合你的代码和场景，我整理了具体的分析和解决方案：

问题根源拆解 #

你当前的代码逻辑里，每执行一次myFunc(i)就会初始化一个拥有Result.cores个节点的进程池，而这些进程池在完成map任务后并没有被显式关闭或销毁。pathos的ProcessingPool不会自动清理闲置进程，反复创建会导致系统中残留大量持有内存的子进程——初始每个核占1MB是因为子进程刚启动，随着任务执行和进程复用，内存会不断累积，最终失控。

另外提个小细节：你的map调用写法有误，正确的格式应该是thispool.map(处理函数, 迭代对象)，这可能是你简化代码时的笔误，但实际运行时得修正。

具体解决方案 #

1. 复用单个进程池（最优方案） #

把进程池的创建移到循环外部，整个程序生命周期只初始化一次进程池，彻底避免反复创建销毁带来的资源浪费：

from pathos.multiprocessing import ProcessingPool

def process_item(item):
    # 替换成你实际的业务处理逻辑
    return item * 2

if __name__ == "__main__":
    # 仅初始化一次进程池，用with语句自动管理生命周期
    with ProcessingPool(nodes=Result.cores) as thispool:
        for i in range(1000):
            # 复用已有的进程池执行任务
            list_of_results = thispool.map(process_item, [i])
            # 后续处理结果的逻辑...

with语句会在代码块结束后自动关闭进程池，确保所有子进程被销毁，内存被释放。

2. 函数内显式回收进程池资源 #

如果必须在函数内部创建进程池，一定要在任务完成后手动清理：

from pathos.multiprocessing import ProcessingPool

def myFunc(something):
    thispool = ProcessingPool(nodes=Result.cores)
    try:
        # 修正map的调用格式：第一个参数是处理函数，第二个是迭代对象
        list_of_results = thispool.map(process_item, [something])
        return list_of_results
    finally:
        # 按顺序执行关闭、等待、清理，确保进程资源被彻底释放
        thispool.close()
        thispool.join()
        thispool.clear()

def process_item(item):
    # 实际业务逻辑
    return item * 2

for i in range(1000):
    myFunc(i)

close()禁止进程池接收新任务，join()等待所有子进程完成当前任务，clear()清理进程池的内部状态，三者结合能确保子进程被销毁，内存被回收。

3. 排查业务逻辑的内存泄漏 #

如果以上方法仍未解决问题，需要检查你的实际处理函数（即something对应的逻辑）是否存在内存泄漏：

• 检查是否在处理函数中创建了大量未释放的对象、打开文件后未关闭、持有全局变量引用等；
• 可以用tracemalloc模块跟踪内存分配，定位具体泄漏点：

import tracemalloc

# 启动内存跟踪
tracemalloc.start()

# 执行你的循环任务代码
for i in range(1000):
    myFunc(i)

# 生成内存快照并打印Top10泄漏点
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')

print("[Top 10 内存泄漏点]")
for stat in top_stats[:10]:
    print(stat)

额外注意事项 #

• 避免在循环中频繁创建进程池，这是多进程编程的常见误区；
• pathos的ProcessingPool基于multiprocessing，子进程会继承父进程的内存空间，如果父进程本身内存占用已经很高，子进程启动时就会占用大量内存；
• 对于超长时间运行的任务，可以考虑定期重启进程池（比如每处理100个任务后重建一次），缓解内存累积。

内容的提问来源于stack exchange，提问作者FooBar