Mac系统下如何使用multiprocessing.Value配合Spawn启动方式？

问题原因 #

MacOS从Python 3.8开始默认采用spawn作为多进程启动方式，和Linux默认的fork机制有本质区别：

• fork会直接复制父进程的内存空间，全局共享变量能被子进程直接继承使用；
• spawn会启动全新的Python解释器，重新导入主模块，此时每个子进程内的counter都是重新创建的独立实例，和父进程的共享对象完全无关，因此子进程对counter的修改不会同步到父进程，最终输出0。

解决方案一：利用Pool的initializer传递共享资源 #

通过Pool的initializer参数在子进程启动时初始化全局变量，将父进程的共享对象传递给所有子进程：

import multiprocessing as mp

# 子进程全局变量占位
counter = None

def init_worker(shared_counter):
    """子进程初始化函数，接收父进程的共享计数器"""
    global counter
    counter = shared_counter

def test_fun(i):
    """子进程执行的任务函数"""
    with counter.get_lock():
        counter.value += 1

def main():
    global counter
    # 创建共享计数器
    counter = mp.Value('i', 0)
    # 初始化Pool时指定initializer和传递的参数
    with mp.Pool(4, initializer=init_worker, initargs=(counter,)) as p:
        p.map(test_fun, range(4))
    print(counter.value)

if __name__ == "__main__":
    # 显式指定启动方式为spawn（MacOS默认已开启，此处可确保兼容性）
    mp.set_start_method('spawn')
    main()

解决方案二：使用multiprocessing.Manager创建共享对象 #

Manager会启动一个独立的服务进程管理共享资源，子进程通过代理访问，不受启动方式限制，兼容性更强：

import multiprocessing as mp

def test_fun(args):
    """子进程任务函数，接收包含索引和计数器的参数"""
    i, counter = args
    with counter.get_lock():
        counter.value += 1

def main():
    with mp.Manager() as manager:
        # 通过Manager创建共享计数器
        counter = manager.Value('i', 0)
        with mp.Pool(4) as p:
            # 使用map传递打包后的参数元组
            p.map(test_fun, [(i, counter) for i in range(4)])
        print(counter.value)

if __name__ == "__main__":
    mp.set_start_method('spawn')
    main()

两种方案对比 #

• 方案一性能更高，直接传递共享内存对象，适合简单计数等场景；
• 方案二更灵活，支持字典、列表等更多类型的共享资源，适合复杂多进程协作场景。

内容的提问来源于stack exchange，提问作者thc