Python多进程如何合并各进程work_output数据到全局变量

核心原理说明 #

Python multiprocessing 模块创建的子进程拥有独立内存空间，主进程定义的全局变量会在每个子进程中生成独立副本，子进程对全局变量的修改不会同步回主进程，因此直接在子进程内修改作用域外全局变量的写法无法实现数据汇总。

推荐实现（最简方案） #

你贴的修改版代码已经用了Pool.map返回值收集的思路，这是多进程结果汇总最简洁、性能最好、出错概率最低的实现方式，核心逻辑：

• 子进程的任务函数不要尝试修改外部变量，仅将自身计算得到的work_output作为返回值返回
• Pool.map会按照任务传入的顺序，自动收集所有子进程的返回值，组装为列表返回给主进程
• 主进程拿到返回的列表后，可直接做后续合并、处理操作

你原有代码存在一个小问题：workOutputAll.append(z)会把收集到的整个结果列表额外嵌套一层，优化后的可运行代码如下：

from multiprocessing import Pool

work = (["process1", 1,2], ["process2", 2,3], ["process3", 3,4], 
        ["process4", 4,5], ["process5", 5,6], ["process6", 6,7])

def calculateOutput(work_data):
    work_output = work_data[1] * work_data[2]
    print(f"Process {work_data[0]} {work_data[1]}*{work_data[2]}={work_output}")
    return work_output

def work_log(work_data):
    print(f"Process {work_data[0]} started")
    calc_res = calculateOutput(work_data)
    print(f"Process {work_data[0]} Finished.")
    return calc_res

if __name__ == '__main__':
    with Pool(4) as p:
        # map返回值顺序和传入的任务顺序完全对应
        workOutputAll = p.map(work_log, work)
    print("汇总结果：", workOutputAll)

复杂场景可选方案 #

如果你的子进程需要在运行过程中持续产出数据，而非执行完一次性返回结果，可以选择以下两种进程安全的方案：

• 使用multiprocessing.Queue：主进程初始化队列实例，作为入参传给每个子进程；子进程将产出的数据put到队列中，主进程持续从队列读取数据完成汇总
• 使用multiprocessing.Manager创建的进程安全容器：通过Manager初始化的列表、字典可以在多进程间共享，子进程对容器的修改会同步到主进程，该方案性能弱于返回值/队列方案，仅适合小数据量场景

注意：Windows系统下多进程相关启动代码必须放在if __name__ == '__main__':判断块内，否则会触发递归启动子进程的报错。

内容的提问来源于stack exchange，提问作者Jamie M