如何在R中快速计算大规模矩阵的距离矩阵

你当前使用的原生dist()函数为单线程实现，39900行样本的两两欧氏距离计算涉及近8亿次浮点运算，单线程跑24小时未完成属于正常现象，以下是可直接落地的精确计算加速方案：

• 方案1：多线程替换包parallelDist（改造成本最低）
  该包完全兼容原生dist()的参数接口，底层采用多线程实现距离计算，可直接替换原有代码：

  # 安装包
  install.packages("parallelDist")
  # 加载后调用
  library(parallelDist)
  # threads参数指定调用的CPU核心数，默认使用全部可用核心
  d <- parDist(M, method = "euclidean", threads = 4)
  

  该方案在4核i3处理器上的运行速度约为原生dist()的3~4倍，无需修改业务逻辑即可直接使用。

• 方案2：基于RcppArmadillo的向量化优化实现
  欧氏距离可通过线性代数公式优化，避免逐对循环计算：||a-b||² = ||a||² + ||b||² - 2ab^T，基于该公式的Armadillo优化实现比多线程方案还要快30%左右：

  # 安装依赖
  install.packages(c("Rcpp", "RcppArmadillo"))
  # 加载依赖
  library(Rcpp)
  library(RcppArmadillo)
  
  # 编译C++加速函数
  cppFunction(depends = "RcppArmadillo", '
  NumericMatrix fastEuclidDist(arma::mat X) {
    int n = X.n_rows;
    arma::colvec row_sq = arma::sum(X % X, 1);
    arma::mat D = arma::repmat(row_sq, 1, n) + arma::repmat(row_sq.t(), n, 1) - 2 * X * X.t();
    return wrap(arma::sqrt(D));
  }
  ')
  
  # 计算完整距离矩阵，返回matrix类型
  dist_mat <- fastEuclidDist(M)
  # 如需转为dist类对象，可执行：d <- as.dist(dist_mat)
  

• 内存适配优化（针对8GB内存配置）
  39900行的完整距离矩阵存储为double类型约占6.2GB内存，计算前需先清理R环境中不必要的对象并执行gc()释放内存，避免触发磁盘交换大幅拖慢计算速度。若内存仍不足，可通过分块计算的方式逐段生成距离矩阵后拼接。

内容的提问来源于stack exchange，提问作者Duck