多进程：如何为每个进程单独实例化专属模型（强化学习场景）

你的问题出在没有将初始化函数传递给Pool的initializer参数，导致子进程根本没执行模型初始化逻辑。要实现每个进程拥有独立模型，核心是让每个子进程在启动时自行初始化模型，而非依赖主进程传递。以下是具体实现方案：

核心思路 #

1. 利用Pool的initializer参数，指定子进程启动时执行的初始化函数，在该函数内为当前进程创建独立的模型实例。
2. 每个子进程拥有独立的地址空间，全局变量model在不同进程中是完全隔离的副本，不会互相干扰。
3. 模型必须在子进程内初始化，避免跨进程序列化模型带来的错误和性能损耗。

完整代码示例（以PyTorch CNN为例） #

from multiprocessing import Pool
import torch
import torch.nn as nn

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv = nn.Conv2d(3, 16, kernel_size=3)
    
    def forward(self, x):
        return self.conv(x)

# 全局变量：每个子进程会维护自己的副本
model = None

def worker_init():
    """子进程启动时执行的初始化函数，创建独立模型"""
    global model
    model = CNN()  # 每个进程初始化自己的模型实例

def f(x):
    """子进程执行的任务函数，使用当前进程的模型生成数据"""
    global model
    # 示例：用模型处理输入（强化学习场景中可替换为生成经验数据的逻辑）
    dummy_input = torch.randn(1, 3, 32, 32)
    output = model(dummy_input)
    # 返回模型权重哈希，验证每个模型独立
    return f"进程{x}的模型conv权重哈希: {hash(model.conv.weight.data)}"

def run():
    # 创建Pool时指定初始化函数
    with Pool(processes=8, initializer=worker_init) as p:
        result = p.map_async(f, range(8))
        p.close()
        p.join()
        for res in result.get():
            print(res)

if __name__ == '__main__':
    run()

关键说明 #

• 运行代码后会看到每个进程的模型权重哈希值不同，证明每个进程拥有独立的模型实例。
• 如果需要加载预训练权重，可在worker_init中添加权重加载逻辑（比如model.load_state_dict(torch.load("pretrained.pth"))），每个进程会加载自己的权重副本。
• 对于TensorFlow，需在worker_init内创建独立的计算图和模型实例，避免跨进程图冲突。
• 这种方式适合强化学习中并行生成经验数据的场景，每个进程用独立模型与环境交互，不会出现参数共享或同步问题。

内容的提问来源于stack exchange，提问作者Nima Mousavi