并行运行Rcpp函数比串行慢的问题排查与解决求助

核心原因 #

你的Rcpp函数中包含#pragma omp for指令，这会触发OpenMP自动创建线程池。当你通过foreach启动集群worker并行调用该函数时，每个worker都会额外启动OpenMP线程，导致系统中线程数量远超CPU核心数，引发严重的线程竞争与上下文切换开销，直接导致性能暴跌100-1000倍。

解决方案 #

方案1：移除OpenMP指令（推荐，因你不需要内部并行）

直接删除Rcpp代码中的#pragma omp for行，重新编译R包。修改后的代码如下：

#include <Rcpp.h>

using namespace Rcpp;

// fonction pour le calcul des distances de manhattan pour remplacer dist
// [[Rcpp::export]]
IntegerVector dist_man(IntegerVector x, int nc) {
  int nr = x.length()/nc;
  int l = nr*(nr-1)/2;
  IntegerVector mat(l*nc, 0);
  IntegerVector dims = {l, nc};
  mat.attr("dim") = dims;
  // 移除OpenMP并行指令
  for (int k = 0; k < nc; k++){
    int u = 0;
    int kl = k*l;
    int knr = k*nr;
    for (int i = 0; i < (nr-1); i++){
      for (int j = i+1; j < nr; j++){
        mat[u+kl] = abs(x[i+knr]-x[j+knr]);
        u += 1;
      }
    }
  }
  return(mat);
}

方案2：保留OpenMP但强制单线程运行

若你需要保留OpenMP支持（比如其他场景需要内部并行），可在每个并行worker中强制OpenMP仅使用1个线程：

library(doSNOW)
library(foreach)
cl <- makeCluster(2)
registerDoSNOW(cl)
# 在每个worker中设置OpenMP线程数为1
clusterEvalQ(cl, {
  library(microbenchmark)
  Sys.setenv(OMP_NUM_THREADS = 1)
})
res <- foreach(i = 1:2) %dopar% {
  set.seed(100)
  x <- matrix(rbinom(200*30, 1, 0.4), 30)
  m1 <- microbenchmark(Parallel = PKG:::dist_man(x, 30), times = 1000)
}
stopCluster(cl)
res

或在Rcpp代码中显式设置线程数（需添加<omp.h>头文件）：

#include <Rcpp.h>
#include <omp.h> // 添加OpenMP头文件

using namespace Rcpp;

// [[Rcpp::export]]
IntegerVector dist_man(IntegerVector x, int nc) {
  omp_set_num_threads(1); // 强制OpenMP使用单线程
  int nr = x.length()/nc;
  int l = nr*(nr-1)/2;
  IntegerVector mat(l*nc, 0);
  IntegerVector dims = {l, nc};
  mat.attr("dim") = dims;
  #pragma omp for 
  for (int k = 0; k < nc; k++){
    int u = 0;
    int kl = k*l;
    int knr = k*nr;
    for (int i = 0; i < (nr-1); i++){
      for (int j = i+1; j < nr; j++){
        mat[u+kl] = abs(x[i+knr]-x[j+knr]);
        u += 1;
      }
    }
  }
  return(mat);
}

额外注意 #

你的并行测试代码中，构造的x矩阵维度与串行测试不同（并行中是30行，串行中是200行），建议保持维度一致，确保性能对比的公平性。

内容的提问来源于stack exchange，提问作者Max13