Python multiprocessing多进程下独立字典更新值覆盖问题如何解决

你贴出的复现代码本身存在语法错误：pool.map() 要求必须传入可迭代对象作为第二个参数，pool.map(func) 缺少参数无法正常运行。且你写的func函数逻辑如果直接运行，输出必然是{'first':1, 'second':2}，不可能出现值被覆盖的情况，说明你简化代码时漏掉了触发问题的核心逻辑。

你遇到的旧键值被新值全部覆盖的问题，和multiprocessing库、进程独立字典的机制无关，本质是Python的可变对象引用逻辑导致的：

• 当你给字典赋值时，如果传入的是列表、字典、自定义类实例这类可变对象，字典存储的是对象的内存引用，不是对象的完整副本
• 如果你多次给不同键赋值时用的是同一个可变对象，后续每次修改这个对象的内容，所有指向这个对象的键对应的值都会同步变化，最终看起来就像所有旧值都被最新值覆盖了

常见触发场景包括：循环外提前定义了一个可变变量，循环内只修改变量内容不新建对象就直接赋值给不同键；赋值时对复杂可变结构只做了浅拷贝，嵌套层依然是共享引用；fork启动模式下错误引用了全局可变对象触发写时复制异常。

• 不需要使用Manager().dict()，既然每个进程需要独立字典，直接在进程执行的函数内部定义普通局部字典即可，不要跨进程、跨函数引用外部的全局可变对象给字典赋值
• 给字典赋值时，确保每个键对应的值都是独立生成的新对象；如果需要复用可变结构模板，使用copy.deepcopy()生成深拷贝后再赋值
• 所有multiprocessing的进程池创建、任务调度逻辑必须放在if __name__ == '__main__': 保护块内，避免spawn启动模式下重复执行顶层代码引发异常

参考正确实现代码：

import copy
import multiprocessing as mp

def func(task_id):
    my_dict = {}
    # 错误写法：所有键指向同一个可变对象，最终值会被覆盖
    # shared_list = []
    # for i in range(2):
    #     shared_list.append(i+1)
    #     my_dict[f'k{i}'] = shared_list

    # 正确写法1：每次赋值生成新的值对象
    my_dict['first'] = 1
    my_dict['second'] = 2

    # 正确写法2：复用复杂结构时用深拷贝
    # tpl = {'val': 0}
    # my_dict['first'] = copy.deepcopy(tpl)
    # my_dict['first']['val'] = 1
    # my_dict['second'] = copy.deepcopy(tpl)
    # my_dict['second']['val'] = 2
    print(my_dict)

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        # map必须传入和任务数匹配的可迭代参数
        pool.map(func, range(2))

运行上述代码会输出两个独立的字典{'first': 1, 'second': 2}，符合预期。

内容的提问来源于stack exchange，提问作者Ali Rajabi