R中函数传参式并行计算的运行时与核心负载差异问题

底层原因 #

当mat作为funA的参数（局部变量）时，future_apply默认会自动检测任务所需的全局依赖，这会导致funA的整个调用环境（包含大型mat对象）被序列化并传递给每个worker进程。这种额外的序列化/反序列化开销极大，会抵消并行计算的收益，甚至让整体速度变慢，同时因为序列化耗时占比过高，看起来像是没有有效利用多核。

而在funB和全局调用的场景中，mat位于全局环境，future可以更高效地处理变量传递：类Unix系统下可能通过优化的序列化逻辑，Windows下也会避免传递额外的环境冗余信息，因此并行计算的性能收益可以正常体现。

解决方案 #

要让funA保持参数传参的同时达到funB的性能，可采用以下两种方法：

1. 显式控制globals参数 #

由于处理单行的匿名函数仅依赖拆分后的行x，并不需要直接访问mat，可以显式指定globals = character(0)来禁止自动传递全局变量，彻底避免不必要的环境序列化开销：

funA <- function(mat) {
  future_apply(mat, 1, function(x) sqrt(x[1:500]/x[501:1000]), globals = character(0))
}

2. 切换到multicore计划（仅类Unix系统） #

如果你的目标平台是Linux或macOS，可使用multicore计划替代multisession。它通过fork系统调用创建worker进程，会共享主进程的内存空间，无需序列化传递大型对象，自然消除局部变量与全局变量的性能差异：

plan(multicore, workers=4) # 仅支持Linux/macOS

内容的提问来源于stack exchange，提问作者Henry Loeffler