使用foreach并行化嵌套for循环外层时出现报错该如何解决

错误原因 #

你遇到的报错是因为%:%是foreach包提供的嵌套循环专属运算符，语法要求它的右侧必须直接接另一个foreach语句，不能直接跟包含模拟y、处理x等普通逻辑的代码块，所以你写的%:% { ... }不符合语法规范才会报错。

解决方案 #

你不需要用%:%运算符，直接给外层foreach配置%dopar%，把外层的所有逻辑都放进外层%dopar%的代码块即可，同时要先注册支持嵌套的并行后端：

# 加载依赖包
library(foreach)
library(doParallel)

# 注册并行后端，开启嵌套并行支持，cores设置为你的物理核心总数
registerDoParallel(cores = 8, nested = TRUE)

# 外层循环直接用%dopar%，如果有自定义函数/全局变量需要传到工作节点，添加到.export参数列表里
final_result <- foreach (i = 1:n, .combine = "cbind", .export = c()) %dopar% {
  # 外层模拟y的逻辑
  y <- simulate_y()
  # 内层并行循环保持不变
  x <- foreach (j = 1:m, .combine = "cbind") %dopar% {
    # 基于y的计算逻辑
    some_computation(y)
  }
  # 处理x的逻辑，最后返回当前外层循环的结果，会自动按cbind合并
  process_x(x)
}

# 运行结束后关闭并行后端
stopImplicitCluster()

注意事项 #

• 嵌套并行的总进程数不要超过你的设备物理核心数，比如外层开4个进程、内层开2个，总进程数控制在物理核心数以内，否则频繁的上下文切换会导致性能反而下降。
• 如果内层每轮计算量很小，建议把内层改回普通for循环，只并行外层，可以避免多余的并行调度开销，性能反而更好。
• 如果并行过程中提示找不到某个函数/变量，把对应的函数/变量名加到外层foreach的.export参数列表里即可。

内容的提问来源于stack exchange，提问作者Roopali Singh