Python multiprocessing多进程下跨模块变量修改后子进程不生效问题

• Linux环境下Python多进程默认采用fork启动模式，子进程会在进程池初始化的瞬间，完整拷贝主进程当时的内存快照作为自身运行的初始状态，后续主进程对自身内存的修改，完全不会同步到已经创建完成的子进程独立内存空间中。
• 原代码的执行顺序存在本质逻辑问题：先调用mp.Pool(10)创建所有子进程，再修改config.param = 1。所有子进程被fork出来时，config模块中的param还是初始值-1，自然无法读取到主进程后续的修改。
• 即便调整顺序把参数修改放在进程池创建之前，如果后续复用同一个进程池测试多组不同的param值，子进程持有的旧参数副本依然不会随主进程的修改更新，这是进程内存隔离的基础特性决定的。

方案1：每轮测试独立创建进程池，匹配fork内存拷贝特性 #

针对循环测试不同param值的业务场景，每次修改完param、跑完批量任务后，关闭旧进程池，新建的进程池fork时就会自动携带当前最新的参数值。
核心代码示例：

import multiprocessing as mp
import config, solver

val_list = [None for i in range(3)]

# 循环遍历所有需要测试的param值
for test_param in [1, 2, -3]:
    config.param = test_param
    print(f'testing param: {config.param}')
    # 用with上下文管理进程池，自动处理资源回收
    with mp.Pool(10) as pool:
        results = pool.map(solver.solve, val_list)

关键约束：必须把config.param的赋值操作放在mp.Pool()调用之前，否则子进程拷贝到的依然是旧的参数值。

方案2：显式传递参数，完全规避全局变量的进程间传递（最稳健） #

跨进程依赖模块全局变量本身就是高耦合、易出bug的写法，把param作为任务入参显式传入，彻底不受进程内存隔离、执行顺序的影响。
首先调整solver的函数签名，接收传入的param值：

# solver.py 调整后的实现
def solve(val, param):
    # 替换原代码中读取config.param的逻辑
    print(f'solver uses param: {param}')
    return None

主程序中用偏函数绑定当前测试的param值，再传入进程池执行：

from functools import partial
import multiprocessing as mp
import solver

val_list = [None for i in range(3)]

for test_param in [1, 2, -3]:
    print(f'testing param: {test_param}')
    # 把当前param值绑定为solve函数的固定参数
    bound_solve = partial(solver.solve, param=test_param)
    with mp.Pool(10) as pool:
        results = pool.map(bound_solve, val_list)

优点：可以跨轮次复用同一个进程池，不会出现参数不一致的问题，调试和维护成本最低。

方案3：通过进程池初始化钩子同步子进程全局配置 #

如果不想改动现有solver中读取config.param的业务代码，可以在创建进程池时，通过初始化钩子把主进程当前的param值，主动写入每个子进程的config模块。
核心代码示例：

import multiprocessing as mp
import config, solver

val_list = [None for i in range(3)]

# 定义子进程启动时执行的初始化函数
def init_worker(current_param):
    # 子进程独立内存中修改自己的config.param
    config.param = current_param

for test_param in [1, 2, -3]:
    print(f'testing param: {test_param}')
    # 创建进程池时，把当前param值传入每个子进程的初始化流程
    with mp.Pool(10, initializer=init_worker, initargs=(test_param,)) as pool:
        results = pool.map(solver.solve, val_list)

原理：所有进程池子进程创建完成后，会第一时间执行传入的initializer函数，把指定的param值写入自身内存的config模块，完全不依赖fork时的隐式内存拷贝。

• 不要使用multiprocessing.Manager的共享变量存储param值，这种跨进程代理的访问需要走IPC通信，开销极高，会大幅拖慢批量计算的效率，对于单轮固定的param值场景，上述方案的性能要高几个数量级。
• 如果运行环境切换为Windows/macOS（spawn启动模式），上述三个方案依然完全兼容，因为spawn模式本身就需要主进程把所有执行需要的状态显式传给子进程，不存在隐式拷贝的依赖。

内容的提问来源于stack exchange，提问作者Andrei Evseev