调用含OpenMP的Rcpp/Armadillo函数后mcmapply停滞问题求助

问题现象 #

仅当先在mcmapply外部调用使用OpenMP的Rcpp函数testfun()，再通过设置mc.cores>1启用并行的mcmapply调用该函数时，mcmapply会出现停滞；直接用mcmapply调用testfun()则可正常运行完成。

最小可复现示例（MWE） #

Rcpp::sourceCpp(code=
"  #include <RcppArmadillo.h>;
  // [[Rcpp::depends(RcppArmadillo)]]
  // [[Rcpp::export]]
  void testfun(int n) {
    arma::mat foo = arma::sqrt(arma::zeros(n,n));
  }")
library(parallel)

print("Run mcmapply+testfun: works")
mcmapply(mc.cores=2, function(x) testfun(100), 1:2)

print("Calling testfun separately: works")
testfun(100)

print("Run mcmapply+testfun after having run testfun separately: stalls")
mcmapply(mc.cores=2, function(x) testfun(100), 1:2)

问题排查 #

• 该问题与OpenMP的使用直接相关：仅当testfun()将arma::sqrt()的结果赋值给arma::mat时才会触发（arma::sqrt在Armadillo默认启用OpenMP的情况下会并行执行）。
• 若在Rcpp代码开头定义#define ARMA_DONT_USE_OPENMP，禁用Armadillo的OpenMP支持，问题则完全消失。
• 环境配置：Linux系统，R 4.4.0，gcc 14.2.0，gsl 2.7.1，且旧版本R中也可复现该问题。

原因分析 #

Armadillo依赖OpenMP实现矩阵运算的并行加速。当主进程先调用testfun()时，OpenMP会初始化全局线程池；而mcmapply通过fork创建子进程时，子进程会继承主进程的OpenMP线程状态，但fork操作不会复制主进程的线程，仅复制地址空间，导致子进程中的OpenMP线程状态处于不一致的异常状态，最终引发死锁，导致mcmapply停滞。

解决方案 #

方案1：禁用Armadillo的OpenMP支持 #

在Rcpp代码开头添加宏定义，强制Armadillo不使用OpenMP：

#define ARMA_DONT_USE_OPENMP
#include <RcppArmadillo.h>;
// [[Rcpp::depends(RcppArmadillo)]]
// [[Rcpp::export]]
void testfun(int n) {
  arma::mat foo = arma::sqrt(arma::zeros(n,n));
}

此方法简单直接，适合不需要OpenMP并行加速的场景。

方案2：避免主进程提前初始化OpenMP #

不在主进程中调用任何使用OpenMP的Armadillo函数，所有相关调用都放在mcmapply的并行子进程中执行。即删除主进程中单独调用testfun(100)的代码，确保OpenMP线程池仅在子进程中初始化。

方案3：在子进程中重置OpenMP线程配置 #

修改Rcpp函数，在子进程执行时重置OpenMP线程数，强制重新初始化线程池：

#include <RcppArmadillo.h>;
#include <omp.h>
// [[Rcpp::depends(RcppArmadillo)]]
// [[Rcpp::export]]
void testfun(int n) {
  // 重置OpenMP线程数，确保子进程使用独立的线程配置
  omp_set_num_threads(1);
  arma::mat foo = arma::sqrt(arma::zeros(n,n));
}

此方法保留OpenMP的并行能力，同时避免主进程线程状态继承导致的死锁。

内容的提问来源于stack exchange，提问作者sheß