如何用Dask或joblib Parallel复现numpy随机结果？含DataFrame操作场景

不管是用Dask还是joblib Parallel，核心思路都是避免依赖全局的numpy随机状态，而是为每个并行任务分配独立的种子，让每个任务用专属的RandomState实例生成随机结果，这样不管任务执行顺序如何，结果都能稳定复现。

用Dask实现的正确方式 #

你给出的代码里有个小笔误（getRandom应该是get_random），修正后就能正常工作，而且完全满足可复现要求。如果是操作pandas DataFrame的复杂场景，只要把随机操作都绑定到函数内部的局部RandomState上就行，逻辑完全一致：

import numpy as np
import dask

# 全局生成器：只用来生成每个任务的独立种子，保证整体可复现
global_rng = np.random.RandomState(123)
seeds = global_rng.randint(0, 2**31 - 1, size=10)

def get_random(seed):
    # 每个任务初始化自己的随机生成器，完全独立于全局状态
    local_rng = np.random.RandomState(seed)
    # 如果是操作DataFrame，所有随机操作都用这个local_rng
    # 比如 df.sample(n=5, random_state=local_rng)
    return local_rng.randint(0, 100)

delayed_results = [dask.delayed(get_random)(seed) for seed in seeds]
results = dask.compute(*delayed_results)

这么做的原因是：Dask的任务执行顺序不固定，但每个任务的随机结果只和传入的种子绑定，不管任务什么时候跑，只要种子不变，输出就不变。

用joblib Parallel实现 #

如果用joblib，逻辑和Dask完全一致，同样是预先生成种子，每个任务用自己的RandomState：

import numpy as np
from joblib import Parallel, delayed

global_rng = np.random.RandomState(123)
seeds = global_rng.randint(0, 2**31 - 1, size=10)

def get_random(seed):
    local_rng = np.random.RandomState(seed)
    # 复杂场景：比如对DataFrame做随机采样、随机特征生成等，都用local_rng
    return local_rng.randint(0, 100)

# n_jobs指定并行数，backend可选loky/multiprocessing等
results = Parallel(n_jobs=4)(delayed(get_random)(seed) for seed in seeds)

关键注意事项 #

• 绝对不要在并行任务里用np.random.xxx这类全局随机函数，不同任务会互相干扰全局状态，导致结果完全不可控
• 必须用一个全局的RandomState来生成所有任务的种子，这样只要全局种子不变，所有任务的种子序列就固定，整体结果可复现
• 复杂场景下（比如操作DataFrame），所有需要随机状态的API（比如df.sample、sklearn的模型初始化）都要传入这个局部的local_rng，不要省略或用全局状态

内容的提问来源于stack exchange，提问作者bogdmu00