使用concurrent.futures多进程无法更新全局字典与列表问题求助

原代码核心问题 #

1. 丢失共享对象特性：用Manager()创建的共享字典/列表，被后续赋值的普通字典/列表覆盖，失去进程间数据共享能力
2. 函数逻辑错误：first函数接收整个列表作为字典的key，无法正确更新每个键值对；且仅提交一次进程任务，未遍历所有key
3. 共享对象提前销毁：Manager上下文管理器退出后，共享对象被销毁，后续操作访问的是无效数据

修正后的代码 #

import concurrent.futures
from multiprocessing import Manager

# 对字典中指定key的value加1
def increment_value(key, shared_dict):
    print(f"开始更新key: {key}")
    shared_dict[key] += 1
    print(f"key {key}更新后的值: {shared_dict[key]}")
    print(f"完成key: {key}的更新")

# 对字典中所有value平方
def square_values(keys, shared_dict):
    print("开始执行平方操作")
    for key in keys:
        shared_dict[key] = shared_dict[key] ** 2
        print(shared_dict[key])
    print("完成平方操作")

def main():
    list_key = ['A','B','C','D','E','F','G','H','I','K']
    
    with Manager() as manager:
        # 创建共享字典并初始化值
        shared_dict = manager.dict()
        for key in list_key:
            shared_dict[key] = list_key.index(key)
        
        # 为每个key启动更新进程
        with concurrent.futures.ProcessPoolExecutor(max_workers=2) as executor:
            futures = [executor.submit(increment_value, key, shared_dict) for key in list_key]
            # 等待所有更新进程执行完毕
            concurrent.futures.wait(futures)
        
        # 在共享对象有效范围内执行平方操作
        square_values(list_key, shared_dict)

if __name__ == '__main__':
    main()

关键修改说明 #

• 保留共享字典特性：通过循环初始化manager.dict()的键值对，避免被普通字典覆盖
• 修正任务逻辑：为每个key单独提交更新任务，确保所有键值对被正确加1
• 控制上下文范围：所有操作放在Manager上下文内，避免共享对象提前销毁
• 等待进程完成：用concurrent.futures.wait()确保所有更新完成后再执行平方操作，保证数据顺序正确

运行后即可得到预期的输出：

1
4
9
16
25
36
49
64
81
100

内容的提问来源于stack exchange，提问作者vũ kiên