如何让R在CPU内存耗尽时使用HDD作为扩展内存？

一、系统层面虚拟内存优化（Windows/Linux通用思路） #

Windows系统 #

• 你之前调整页面文件的方向正确，但需确保配置完全生效：
  1. 打开「系统属性」→「高级」→「性能设置」→「高级」→「虚拟内存」
  2. 取消「自动管理所有驱动器的分页文件大小」选项
  3. 分别给D盘、E盘设置自定义大小：初始大小设为物理内存的1.5倍（192GB），最大值设为物理内存的3倍（384GB），两块盘按此标准配置
  4. 重启系统后，执行wmic pagefile list /format:list命令确认分页文件已正常启用
• 注意：HDD读写速度远慢于RAM，虚拟内存仅能避免内存耗尽崩溃，无法从根本解决速度问题，仅作应急补充。

Linux系统（若切换） #

• 可将两块HDD创建RAID 0条带化阵列提升虚拟内存读写效率，比单盘更实用：
  1. 用fdisk工具给D、E盘创建分区，分区类型设为82（swap专用类型）
  2. 格式化分区：mkswap /dev/sdb1、mkswap /dev/sdc1
  3. 启用交换分区：swapon /dev/sdb1 /dev/sdc1
  4. 写入/etc/fstab确保开机自动挂载：

     /dev/sdb1 swap swap defaults 0 0
     /dev/sdc1 swap swap defaults 0 0
     

• 也可使用fallocate创建交换文件，但分区方式稳定性更强。

二、R语言层面内存优化（核心，比虚拟内存更有效） #

1. ETL阶段优化 #

• 避免用readxl直接读取完整大Excel，改用data.table::fread或分块读取：

  library(readxl)
  chunk_size <- 10000
  total_rows <- read_excel("large_file.xlsx", n_max = 0) %>% nrow()
  # 分块读取，按需处理而非全量合并到内存
  chunks <- lapply(seq(1, total_rows, chunk_size), function(i) {
    read_excel("large_file.xlsx", skip = i-1, n_max = chunk_size)
  })
  

• 读取时仅保留需要的列：read_excel("file.xlsx", cols = c("col1", "col2"))

2. 数据处理阶段优化 #

• 优先用data.table替代dplyr，其内存效率更高，支持延迟计算和原地修改（减少内存复制）：

  library(data.table)
  dt <- fread("large_file.csv") # 比read.csv内存占用更低
  # 原地修改对象，避免生成副本
  dt[, new_col := col1 + col2]
  # 过滤后即时收缩内存
  dt <- dt[col3 > 100]
  gc() # 手动触发垃圾回收释放内存
  

• 若坚持用dplyr，开启dplyr::dplyr_options(strict_sql = TRUE)减少冗余开销，同时用链式操作避免中间变量堆积。

3. Shiny应用优化 #

• 避免在全局环境存储大对象，用reactiveValues或bindCache缓存计算结果：

  output$plot <- renderPlot({
    input$submit_button
    bindCache({
      # 耗时计算逻辑
      compute_large_data(input$param)
    }, input$param)
  })
  

• 输出表格时用DT::datatable(server = TRUE)，仅加载当前页数据，而非全量推送至前端。

三、R配置调整 #

• Windows下memory.limit()返回Inf是正常状态，说明R未被限制内存上限，无需手动设置该参数（该参数已废弃）
• 在.RProfile中添加自动垃圾回收配置：

  options(gc = TRUE) # 每次内存分配时自动触发垃圾回收
  

• 启用内存阈值警告：

  options(mem.warning.threshold = 100) # 使用内存超过100GB时发出警告
  

四、硬件临时优化 #

• 将两块HDD组建RAID 0阵列（Windows/Linux均支持），虽仍远不如SSD，但比单HDD读写速度提升约一倍，可轻微缓解虚拟内存瓶颈。

内容的提问来源于stack exchange，提问作者Heather Robinson