AWS EC2的RStudio中存储巨型稀疏矩阵的优化方案咨询

问题背景 #

你在R中创建了一个名为rte的列表，包含350个元素，每个元素都是规模为300+行×320,000+列的大型稀疏矩阵（元素仅为0或1）。代码在AWS EC2的m5.24xlarge实例上运行本身无问题，但RStudio Server在第8次迭代后自动终止。

核心问题 #

若要完成全部350次迭代，成功创建并保存所有矩阵，且需将列表保留在RStudio工作区以便后续代数运算，是否只能使用AWS EC2中性能最强的x1.32xlarge实例？

你的代码 #

rte_m <- vector("list", length(unique(d_zone_ON$Date))) 
inx_big = 0 
for(j in unique(d_zone_ON$Date)){ 
  inx_row <- sum(d_zone_ON$Date== j) 
  inx_big <- inx_big+1 
  rte_m[[inx_big]] <- data.frame(matrix(0, nrow = inx_row, ncol = inx_row*(inx_row+1)/2)) 
  lb <- min(which(d_zone_ON$Date == j)) 
  ub <- max(which(d_zone_ON$Date == j)) 
  for(i in lb:ub){ 
    if(i==lb){ 
      rte_m[[inx_big]][1,1:(ub-lb)] = 1; 
    } else if(i<ub && i> lb){ 
      rte_m[[inx_big]][i-lb+1, ((i-lb)*(ub-lb)-(i-lb+1)*(i-lb-2)/2):((i-lb+1)*(ub-lb)-(i-lb+1)*(i-lb)/2)] = 1; 
    } else {rte_m[[inx_big]][ub-lb+1, ] = 0} 
  } 
}

解答 #

不一定非要直接升级到x1.32xlarge实例！我们可以通过代码优化、配置调整和内存管理策略，在现有m5.24xlarge实例上解决问题，以下是具体方案：

• 用稀疏矩阵替代稠密数据框，大幅降低内存占用
  你的矩阵是典型的稀疏结构（只有0和1，且1占比极低），但当前代码用data.frame(matrix(0, ...))创建的是稠密矩阵，会浪费大量内存。推荐使用Matrix包的稀疏矩阵实现（比如dgCMatrix），它只存储非零元素的位置和值，内存占用能降到原来的几十分之一：

  library(Matrix)
  # 初始化空的稀疏矩阵
  rte_m[[inx_big]] <- sparseMatrix(i = integer(0), j = integer(0), 
                                   dims = c(inx_row, inx_row*(inx_row+1)/2), 
                                   x = integer(0))
  # 赋值时只记录值为1的位置，原逻辑保持不变
  if(i==lb){
    rte_m[[inx_big]][1, 1:(ub-lb)] <- 1
  }
  

  这样修改后，单矩阵的内存占用会大幅降低，350个矩阵同时留在内存里的压力会小很多。

• 调整RStudio Server的内存限制
  RStudio Server默认可能设置了内存使用上限，导致会话因内存耗尽被终止。你可以修改它的配置文件：

  1. 编辑/etc/rstudio/rserver.conf，添加或修改以下内容（根据m5.24xlarge的384GB内存，可设为360000MB左右）：

     rsession-memory-limit=360000
     

  2. 重启RStudio Server生效：

     sudo systemctl restart rserver
     

• 分批次保存+内存清理，避免内存过载
  如果一定要把所有矩阵留在工作区有困难，可以分批次创建、保存并清理内存：

  # 每10次迭代保存一批
  if(inx_big %% 10 == 0){
    saveRDS(rte_m[(inx_big-9):inx_big], paste0("rte_batch_", inx_big %/% 10, ".rds"))
    # 从列表中移除已保存的元素，释放内存
    rte_m[(inx_big-9):inx_big] <- NULL
    # 手动触发垃圾回收
    gc()
  }
  # 迭代结束后保存剩余的矩阵
  if(inx_big == length(unique(d_zone_ON$Date))){
    saveRDS(rte_m, "rte_final_batch.rds")
  }
  

  后续需要运算时，再分批加载这些RDS文件即可。

• 脱离RStudio会话运行脚本
  RStudio Server的会话可能因为长时间无交互或内存压力被自动终止，你可以直接在EC2的终端里用R脚本运行任务，稳定性更高：

  Rscript your_script.R
  

  这样能避开RStudio的会话限制，更适合长耗时、高内存的任务。

• 先监控内存使用情况
  在EC2实例上用htop或free -h命令实时查看内存占用，确认是不是内存耗尽导致的终止。如果优化代码后内存占用仍超出m5.24xlarge的容量，再考虑升级实例也不迟。

总结 #

先从代码优化和内存管理入手，这些调整能大幅降低内存需求，大概率在现有m5.24xlarge实例上就能完成350次迭代，不需要直接使用x1.32xlarge这种超高配实例。

内容的提问来源于stack exchange，提问作者user177196