如何用concurrent.futures.ProcessPoolExecutor实现进程间变量共享？

一、解决ProcessPoolExecutor的变量共享问题 #

你原代码中无法实现变量共享的核心原因是：直接用multiprocessing.Value创建的共享变量，在ProcessPoolExecutor的spawn启动模式（Windows系统默认）下，子进程会复制父进程的内存空间，导致每个子进程拿到的是变量副本，而非真正的共享对象。

要实现跨进程共享，需使用multiprocessing.Manager()创建共享变量——Manager会启动独立的服务进程管理共享对象，所有子进程通过代理访问，确保状态同步。

修正后的代码 #

import time
import concurrent.futures
from multiprocessing import Manager

def foo(x):
    while True:
        time.sleep(1)
        print('foo')
        x.value += 1

def foo2(y):
    while True:
        time.sleep(1.5)
        print('foo2')
        print(y.value)

def main():
    # 使用Manager创建真正跨进程共享的变量
    with Manager() as manager:
        x = manager.Value('i', 0)  # 显式指定初始值，避免默认值歧义
        with concurrent.futures.ProcessPoolExecutor() as executor:    
            executor.submit(foo, x) 
            executor.submit(foo2, x)

if __name__ == '__main__':
    main()

关于你之前尝试的参数组合 #

• (foo(x), x)这类写法错误：foo(x)会直接在主进程执行函数，而非传递函数对象给executor.submit，正确写法是executor.submit(函数对象, 参数)。
• (foo, x.value)这类写法传递的是整数副本（值传递），子进程无法修改主进程的变量，自然无法实现共享。

二、Process类的name参数并非必需 #

你代码中的name=''只是函数定义的默认参数，和Process类本身无关：

• 你的foo函数定义了第二个参数name并设置默认值''，所以调用Process时需要传对应参数（或利用默认值不传）。
• 如果删除函数的name参数，直接用Process(target=foo, args=(y,)).start()也能正常运行。

比如简化后的Process代码：

import time
from multiprocessing import Process, Value

def foo(y):
    while True:
        time.sleep(1)
        y.value += 1

def foo2(y):
    while True:
        time.sleep(0.5)
        print(y.value)
    
if __name__ == "__main__":
    y = Value('i')
    Process(target=foo, args=(y,)).start()
    Process(target=foo2, args=(y,)).start()

运行后依然能正常输出递增的共享变量值。

内容的提问来源于stack exchange，提问作者Dalalama231123