Python多进程：循环迭代时应新建进程池还是复用？

直接给出结论：绝对应该在while循环前创建单个进程池并持续复用，而非每次迭代新建，原因如下：

1. 避免进程启停的巨大开销 #

每次创建Pool都会启动cpu_count()个子进程，迭代结束后关闭池又会销毁这些进程。如果你的while循环迭代次数较多（几十上百次），频繁创建销毁进程会消耗大量系统资源（CPU调度、内存分配），直接拖慢整体性能。复用进程池的话，子进程会一直处于就绪状态，每次迭代直接分配任务，完全省去了进程启停的成本。

2. 任务调度更高效 #

预先创建好的进程池，子进程随时可以接收任务开始执行，不用等待进程启动流程。而每次新建池的话，要等所有子进程启动完成才能处理任务，迭代次数越多，浪费的时间越明显。

3. 代码更简洁易维护 #

Option2的逻辑更清晰：进程池只初始化一次，循环内专注于提交任务、获取结果，不用重复写Pool()、close()、join()这类冗余代码，减少出错概率。

关于Option1的问题 #

Option1并非不能运行，但属于典型的反模式——除了上述性能问题，频繁创建进程还可能导致系统进程数激增，触发系统进程数限制，甚至出现资源耗尽的情况。

复用进程池的注意事项 #

• 确保任务和参数可序列化：multiprocessing依赖pickle传递数据到子进程，numpy数组天然支持序列化，但如果有自定义对象，需要确保其实现pickle接口。
• 不要在worker里修改全局变量：每个子进程有独立的内存空间，修改主进程的全局变量不会生效；如果需要共享状态，可以用multiprocessing.Manager或共享内存（比如multiprocessing.Array）。
• 循环内不要关闭进程池：像Option2那样，pool.close()和pool.join()必须放在while循环结束之后，否则关闭池后无法再提交新任务。
• 大数组的优化技巧：如果数组体积特别大，每次传递给子进程会有数据拷贝开销，可以考虑用numpy的共享内存数组（比如通过multiprocessing.Array转换），减少数据传输成本。

修正后的Option2伪代码参考 #

import numpy as np
from multiprocessing import Pool, cpu_count

def worker(row):
    # 处理数组单行的逻辑
    return processed_row

def process_results(results):
    # 将处理后的行重新组合成新数组
    return np.array(results)

def check_convergence(arr):
    # 自定义迭代终止条件，比如收敛到阈值
    return np.mean(arr) < 0.1

def option2():
    """复用单个进程池的正确写法"""
    pool = Pool(processes=cpu_count())
    N = 1000  # 示例数组行数
    current_array = np.random.rand(N, 50)  # 初始化大型数组
    
    while True:
        results = []
        # 为每一行提交并行任务
        for row in current_array:
            results.append(pool.apply_async(worker, (row,)))
        
        # 等待所有任务完成，获取结果
        iteration_results = [result.get() for result in results]
        
        # 生成下一次迭代的新数组
        current_array = process_results(iteration_results)
        
        # 检查是否终止迭代
        if check_convergence(current_array):
            break
    
    # 循环结束后关闭进程池
    pool.close()
    pool.join()
    return current_array

内容的提问来源于stack exchange，提问作者Physics_Student