Python multiprocessing Pool.map调用每次返回相同随机值的问题求助

这个问题我之前在多进程场景下也踩过坑，原因其实和多进程的内存复制机制有关：

问题根源 #

当你使用mp.Pool创建子进程池时，所有子进程都会完整复制主进程的内存状态，包括numpy全局随机数生成器（RNG）的种子状态。这就意味着每个子进程启动时，随机数生成器的初始状态完全一致，所以它们生成的随机数自然也一模一样。

解决方案 #

有两种可靠的方法可以解决这个问题，推荐优先用第一种：

方法1：在函数内部创建独立的随机数生成器（推荐） #

numpy从1.17版本开始推荐使用np.random.default_rng()创建独立的随机数生成器，避免全局状态带来的多进程冲突。你可以修改你的函数：

import multiprocessing as mp
import numpy as np

def gen_random_list(num):
    print(f"Num: {num}\n")
    # 创建独立的随机生成器，可传入num作为唯一种子，或不传参数用系统熵初始化
    rng = np.random.default_rng(num)
    ret_list = rng.integers(0, 5, size=3).tolist()
    return ret_list

with mp.Pool() as pool:
    results = pool.map(gen_random_list, range(4))
    print(results)

这种方式的好处是每个函数调用都有独立的随机状态，完全避免全局变量的干扰，而且生成的随机数序列更可靠。

方法2：给每个子进程初始化不同的随机种子 #

你可以通过mp.Pool的initializer参数，在每个子进程启动时设置独特的随机种子（比如用进程ID）：

import multiprocessing as mp
import numpy as np
import os

def init_worker():
    # 用当前进程的ID作为种子，保证每个子进程种子不同
    np.random.seed(os.getpid())

def gen_random_list(num):
    print(f"Num: {num}\n")
    ret_list = np.random.randint(0, 5, size=3).tolist()
    return ret_list

with mp.Pool(initializer=init_worker) as pool:
    results = pool.map(gen_random_list, range(4))
    print(results)

修改后的运行效果 #

修改后再运行，你会得到完全不同的随机列表，比如：

Num: 0
Num: 1
Num: 2
Num: 3
[[2, 0, 3], [1, 4, 0], [3, 2, 4], [0, 1, 2]]

内容的提问来源于stack exchange，提问作者Brett Elliot