R语言并行编程剩余任务仅单核心运行问题排查与解决

核心原因 #

• 静态分块调度导致任务集中：默认情况下，foreach结合doFuture采用静态分块策略，将90个任务平均分配给7个worker（前6个worker各处理13个，最后1个处理12个）。当大部分worker完成自身分块的任务后，剩余任务会集中在最后一个worker的分块中，导致仅单个核心运行，其余闲置。
• 任务执行时间差异过大：如果不同仿真设计的任务耗时差距明显，部分worker会快速完成所有快任务，而剩余的慢任务仅由单个worker处理，也会出现多核心闲置的情况。

解决办法 #

1. 启用动态任务调度 #

通过设置chunk.size = 1，让每个worker完成一个任务后立即获取下一个任务，避免任务集中在单个worker的分块里。修改并行代码部分的foreach调用：

system.time( vasilis <- foreach(J = 1:nrow(grid_models), .options.future = c(opts, list(chunk.size = 1))) %dofuture% {
  # 原有任务代码（生成Results矩阵的逻辑）
  Results
  Progress()
})

该设置会让任务调度更灵活，确保所有worker在整个过程中尽可能保持忙碌。

2. 优化任务分配（可选） #

如果任务耗时差异显著，可以提前预估每个任务的运行时间，将耗时相近的任务分散分配给不同worker，避免单个worker集中处理大量慢任务。比如先给任务打耗时标签，再按标签分组分配。

3. 调整worker数量（可选） #

如果任务总数和worker数量的配比不合理，可适当调整worker数量（比如设置为与剩余任务数匹配的数值），但这种方法灵活性不如动态调度。

内容的提问来源于stack exchange，提问作者Vassilis Chasiotis