加载parallel包后R无法识别parApply()函数的问题求助

问题描述 #

加载parallel包并创建集群后，将apply替换为parApply时R无法识别该函数，嵌套调用parApply时报错：nie udało się znaleźć funkcji 'parApply'（找不到函数），即使使用parallel::parApply调用或用getAnywhere(parApply)能定位到函数，仍无法解决报错。

原代码：

library(parallel)
system.file(package='parallel')
detectCores()

copies_of_r <- 7

cl <- makeCluster(copies_of_r)

parApply(cl ,TRAITS,2,function(x) parApply(cl, SNP, 2, function(y) summary(lm(x~y))$coefficients[2,4]))

问题原因 #

1. 嵌套并行逻辑错误：外层已经在集群节点上分配任务运行，内层再调用parApply会让每个worker节点尝试再次调用集群，这种嵌套并行不仅效率极低，还容易引发资源冲突。
2. worker节点依赖缺失：集群的worker节点环境独立，默认不会自动加载parallel包，也无法直接访问主环境中的SNP数据，导致内层调用时找不到函数和必要数据。

解决方案 #

1. 移除嵌套parApply，改用内层串行apply #

外层用parApply并行处理TRAITS的列，内层用普通apply处理SNP的列，同时将必要数据导出到worker节点：

library(parallel)

# 创建集群
copies_of_r <- 7
cl <- makeCluster(copies_of_r)

# 将SNP数据导出到所有worker节点（必须，否则worker无法访问该数据）
clusterExport(cl, "SNP")

# 并行处理TRAITS的每一列，内层用普通apply完成循环
result <- parApply(cl, TRAITS, 2, function(x) {
  apply(SNP, 2, function(y) {
    summary(lm(x ~ y))$coefficients[2, 4]
  })
})

# 处理完成后关闭集群
stopCluster(cl)

2. 关键说明 #

• 禁止嵌套parApply：外层已经分配7个worker并行处理TRAITS的列，每个worker只需串行处理对应列的SNP循环即可，嵌套并行会导致资源浪费和逻辑错误。
• clusterExport必须调用：worker节点的环境与主环境隔离，主环境中的变量（如SNP）需要显式导出才能被worker访问。
• 额外依赖处理：如果任务用到其他R包，可通过clusterEvalQ(cl, library(包名))让所有worker加载对应包。

内容的提问来源于stack exchange，提问作者Qba Liu