如何在R语言FORK集群中正确处理随机任务？

核心原因 #

FORK模式创建子进程时会完整复制主进程的内存空间，包括全局环境中的.Random.seed，因此所有子进程初始随机数状态完全一致，最终生成的随机序列也完全相同。你之前给clusterSetRNGStream传iseed = NULL无效，是因为该参数为NULL时，函数会基于主进程当前已有的随机种子派生子进程的随机流，本质还是基于同一个父种子生成，不会自动生成互不重叠的独立随机起点。

解决方案1：清空子进程继承的随机种子（最简方案） #

创建集群后立刻在所有子进程中删除继承得到的.Random.seed，子进程后续第一次调用随机函数时，会自动根据当前进程的时钟信息生成独立的新种子，行为和你在干净R会话中观察到的效果完全一致。修改后的代码如下：

wrapper <- function() {
    # 创建FORK集群
    backend <- parallel::makeCluster(7, "FORK")
    
    # 关键步骤：清空所有子进程的.Random.seed
    parallel::clusterEvalQ(backend, {
        if (exists(".Random.seed", envir = .GlobalEnv)) {
            rm(.Random.seed, envir = .GlobalEnv)
        }
    })

    compute <- function(backend) {
        return(
            parallel::parSapply(backend, 1:7, function(x) {
                Sys.sleep(0.5)
                rnorm(1)
            })
        )
    }

    result <- compute(backend)
    parallel::stopCluster(backend)
    return(result)
}

解决方案2：使用clusterSetRNGStream生成独立随机流（更稳妥） #

如果需要从数学上保证多个子进程的随机序列不会出现重叠，可每次生成一个随机整数作为iseed传入clusterSetRNGStream，该函数会自动为每个子进程分配独立的L'Ecuyer随机数流，完全避免序列重复的问题：

wrapper <- function() {
    backend <- parallel::makeCluster(7, "FORK")
    # 每次传入随机生成的iseed，不需要固定即可得到不可复现的独立随机流
    parallel::clusterSetRNGStream(backend, iseed = sample.int(.Machine$integer.max, 1))

    compute <- function(backend) {
        return(
            parallel::parSapply(backend, 1:7, function(x) {
                Sys.sleep(0.5)
                rnorm(1)
            })
        )
    }

    result <- compute(backend)
    parallel::stopCluster(backend)
    return(result)
}

内容的提问来源于stack exchange，提问作者Mihai Constantin