拟提交CRAN的R包中如何无需inline/本地包实现Rcpp代码并行化

1. 跨工作节点调用Rcpp函数的正确方法 #

不需要额外开发子包，也不需要使用inline形式写C++代码，只需让每个并行工作节点本地加载你开发的包即可：

foreach框架修正代码 #

n_workers <- parallel::detectCores(logical = F)
cl <- parallel::makeCluster(n_workers)
doParallel::registerDoParallel(cl)

n <- 10
foreach(j = rep(n, n), 
        .packages = "rnormParallelization") %dopar% {
  rNorm_c(j)
}

parallel::stopCluster(cl)

snow框架修正代码 #

不要使用clusterExport传递Rcpp函数，这类函数携带的C++指针跨进程序列化后会失效，改为在所有节点执行包加载逻辑：

rNorm_samples_snow1 <- function(num_samples, length, clus = NULL){
  # 支持外部传入集群，避免重复创建销毁的开销
  stop_cluster <- F
  if(is.null(clus)) {
    clus <- snow::makeCluster(parallel::detectCores(logical = F))
    stop_cluster <- T
  }
  # 每个节点本地加载包，初始化Rcpp函数指针
  snow::clusterEvalQ(clus, library(rnormParallelization))
  out <- snow::parSapply(clus, rep(length, num_samples), rNorm_c)
  if(stop_cluster) snow::stopCluster(clus)
  return(out)
}

2. 并行版本性能偏低的原因与优化 #

问题原因 #

• 当前测试用例的任务拆分粒度过细：每次分发单一样本生成任务，进程间通信、数据序列化的开销远大于生成随机数的计算开销
• 每次调用并行函数都重新创建、销毁集群，固定开销占比过高

优化方案 #

• 粗粒度拆分任务：按工作节点数量拆分总任务，比如4核就拆成4个大任务，每个节点生成1/4的总样本，大幅降低通信次数
• 复用集群实例：开放集群传入参数，支持用户传入全局复用的集群，避免重复初始化开销
• 优先采用C++层面多线程并行：直接在C++代码中使用OpenMP做多线程并行，完全避免R层面多进程的通信开销，性能提升幅度最高，也更适配Rcpp开发场景，示例代码如下：

#include <RcppArmadillo.h>
// [[Rcpp::depends(RcppArmadillo)]]
// [[Rcpp::plugins(openmp)]]
#include <omp.h>

using namespace Rcpp;

// [[Rcpp::export]]
arma::mat rNorm_mat(int num_samples, int length, int n_threads = 1) {
  omp_set_num_threads(n_threads);
  arma::mat res(length, num_samples);
  #pragma omp parallel for
  for(int j = 0; j < num_samples; j++) {
    res.col(j) = arma::vec(length, arma::fill::randn);
  }
  return res;
}

使用OpenMP时只需在包的Makevars和Makevars.win中添加对应编译参数，CRAN完全支持符合规范的OpenMP代码提交。

3. CRAN提交注意事项 #

• R层面多进程并行的示例、测试代码需限制最大核心数，避免占用过多CRAN测试机资源
• OpenMP代码需要做好兼容处理，针对不支持OpenMP的编译环境自动退化为单线程运行

内容的提问来源于stack exchange，提问作者Jacob Helwig