Rcpp如何监控变量内存占用？排查MCMC算法内存溢出问题

1 Rcpp中获取对象内存占用的方法 #

你用sizeof()得到固定值是正常的：arma::mat这类C++矩阵对象本身只在栈上存储元数据（数据指针、行数、列数等），实际存储数据的内存是在堆上申请的，sizeof()只会计算栈上结构体的大小，所以和实际数据量无关。
正确的计算方式有两种：

• 针对Armadio矩阵/向量：直接通过元素数计算，示例代码：

  arma::mat mat1 = zeros<arma::mat>(10,10);
  // 实际占用内存 = 元素个数 * 单个元素大小
  size_t mat_size = mat1.n_elem * sizeof(double);
  

• 通用所有Rcpp对象：可以转为R的SEXP对象后调用R内置的内存计算函数，结果和R中object.size()完全一致：

  #include <Rinternals.h>
  // 计算任意Rcpp对象的内存占用
  size_t obj_size = Rf_objectSize(Rcpp::wrap(mat1));
  

2 已声明矩阵的内存占用变化问题 #

你的理解是正确的：

• 用mat mat1=zeros<mat>(10,10);完成初始化后，只要你没有调用set_size()、resize()、insert_rows/cols()这类显式修改维度的方法，也没有把更大的矩阵赋值给mat1，它占用的堆内存大小是固定的。
• 执行mat1(0,0)=100000;这类单个元素赋值操作，只会修改已申请内存中的数值，不会触发内存重新申请或扩容，内存占用不会变化。

3 重复调用函数内存持续上涨的原因 #

如果确认所有变量维度没有变化，内存持续上涨几乎可以判定是内存泄漏，也就是函数内部申请的部分内存没有被正常释放，Rcpp场景下常见的诱因有：

• 函数内使用new、malloc等手动申请堆内存，但没有对应的delete、free语句，或者分支逻辑跳过了释放步骤
• 误用Armadillo的内存管理接口，比如多次调用set_size()隐式扩容，或者创建Armadillo对象时手动传入外部内存指针、设置了copy_aux_mem = false，之后没有手动释放该内存块
• 开多线程（比如OpenMP）时，线程本地存储的大对象没有被正常析构
• 大量生成临时大对象导致内存碎片，看起来内存占用持续升高

4 验证内存泄漏猜想的方法 #

可以按照以下优先级排查：

• 先做最小复现测试：单独抽离出该计算密集函数，写一个最小测试脚本循环调用该函数，每次调用结束后在R端执行gc()强制触发垃圾回收，如果内存仍然持续上涨，即可确定是C++层面的内存泄漏，和R的GC无关
• 使用Linux原生内存检测工具valgrind定位泄漏点，执行命令：

  valgrind --leak-check=full Rscript 你的测试脚本.R
  

  测试时可以适当降低迭代次数减少运行时间，运行结束后valgrind会输出所有未释放的内存块的申请位置，直接定位泄漏代码
• 在函数的入口和出口处分别增加内存统计代码，对比进出函数的内存占用差异，排除返回值的合理内存占用后，如果差值不为0，即可确认函数内部存在泄漏。

内容的提问来源于stack exchange，提问作者Ding Li