Python多进程中无返回值函数更新共享数据的优雅解决方案

原代码里data列表没被更新的核心原因是：多进程中每个子进程会拥有独立的内存空间，子进程里访问的data是主进程数据的一份拷贝，修改的只是拷贝而非原数据。下面提供几种安全且优雅的解决思路：

方案1：用共享内存对象直接操作 #

适合简单数值型数组，所有进程共享同一块内存空间，修改直接生效：

from multiprocessing import Pool, Array

def update(args):
    idx, shared_data = args
    shared_data[idx] += idx ** 2

def solver():
    # 'i'表示整数类型，初始化共享数组为10个4
    shared_data = Array('i', [4] * 10)
    with Pool(8) as po:
        # 把索引和共享数组打包传给子进程
        po.map(update, [(i, shared_data) for i in range(10)])
    # 转成普通列表查看结果
    print(list(shared_data))

if __name__ == "__main__":
    solver()

方案2：子进程返回结果，主进程统一合并 #

这种方式逻辑清晰，避免并发冲突，更符合函数式编程风格：

from multiprocessing import Pool

data = [4] * 10

def calculate_new_value(j):
    # 返回索引和计算后的新值
    return j, data[j] + j ** 2

def solver():
    global data
    with Pool(8) as po:
        results = po.map(calculate_new_value, range(10))
    # 主进程统一更新原数据
    for idx, val in results:
        data[idx] = val
    print(data)

if __name__ == "__main__":
    solver()

方案3：用Manager管理复杂共享对象 #

如果需要共享列表、字典这类复杂结构，可以用Manager创建代理对象，由专门的服务进程管理共享数据：

from multiprocessing import Pool, Manager

def update(args):
    idx, shared_data = args
    shared_data[idx] += idx ** 2

def solver():
    with Manager() as manager:
        shared_data = manager.list([4] * 10)
        with Pool(8) as po:
            po.map(update, [(i, shared_data) for i in range(10)])
        print(list(shared_data))

if __name__ == "__main__":
    solver()

各方案对比 #

• 共享内存（Array）：性能最优，但仅支持基本数值类型，适合简单数组场景。
• 结果合并：无并发风险，逻辑易懂，是大多数场景的首选。
• Manager：支持复杂对象，但依赖进程间通信，性能略低，适合需要实时共享复杂结构的场景。

内容的提问来源于stack exchange，提问作者Tony Shi