多进程更新DictProxy失效求助：为何字典未更新？DictProxy用途存疑

这个坑我之前踩过！DictProxy确实是为多进程共享字典设计的，但它的同步机制只覆盖顶层键的直接操作——比如新增、删除顶层键，或者直接给顶层键赋值。但嵌套在里面的子字典，本质上还是普通的Python字典，不受DictProxy的进程同步管控，所以你直接修改子字典的内容时，这些变化不会同步到其他进程（包括主进程），就出现了你看到的空字典情况。

错误的写法示例 #

from multiprocessing import Manager, Process

def update_dict(proxy):
    for key in proxy:
        # 直接修改嵌套子字典，不会触发DictProxy同步
        proxy[key]['x'] = 'x'

if __name__ == '__main__':
    with Manager() as manager:
        proxy = manager.dict({'a': {}, 'b': {}, 'c': {}})
        processes = [Process(target=update_dict, args=(proxy,)) for _ in range(3)]
        for p in processes:
            p.start()
        for p in processes:
            p.join()
        print(dict(proxy))  # 输出: {'a': {}, 'b': {}, 'c': {}}

两种可行的解决方案 #

方案1：重新赋值顶层键 #

既然DictProxy只对顶层键的赋值操作同步，那我们可以先取出子字典，修改后再把整个子字典重新赋值给顶层键，这样就能触发同步机制：

from multiprocessing import Manager, Process

def update_dict(proxy):
    for key in proxy:
        sub_dict = proxy[key]
        sub_dict['x'] = 'x'
        # 重新赋值顶层键，触发DictProxy同步
        proxy[key] = sub_dict

if __name__ == '__main__':
    with Manager() as manager:
        proxy = manager.dict({'a': {}, 'b': {}, 'c': {}})
        processes = [Process(target=update_dict, args=(proxy,)) for _ in range(3)]
        for p in processes:
            p.start()
        for p in processes:
            p.join()
        print(dict(proxy))  # 输出: {'a': {'x': 'x'}, 'b': {'x': 'x'}, 'c': {'x': 'x'}}

方案2：使用嵌套的DictProxy #

如果你的嵌套层级比较深，或者经常需要修改子字典内容，可以直接让每个子字典也成为Manager创建的DictProxy对象，这样整个嵌套结构都受进程同步管控：

from multiprocessing import Manager, Process

def update_dict(proxy):
    for key in proxy:
        # 直接修改嵌套的DictProxy，会自动同步
        proxy[key]['x'] = 'x'

if __name__ == '__main__':
    with Manager() as manager:
        # 每个子字典都是Manager创建的DictProxy
        proxy = manager.dict({
            'a': manager.dict(),
            'b': manager.dict(),
            'c': manager.dict()
        })
        processes = [Process(target=update_dict, args=(proxy,)) for _ in range(3)]
        for p in processes:
            p.start()
        for p in processes:
            p.join()
        print(dict({k: dict(v) for k, v in proxy.items()}))  # 输出期望结果

简单总结一下：DictProxy的同步是“浅层次”的，只有顶层键的操作会被代理同步，嵌套的普通字典不在其管辖范围内。要么通过重新赋值顶层键触发同步，要么把嵌套结构也换成DictProxy，就能解决你的问题啦！

内容的提问来源于stack exchange，提问作者Tavy