R并行读写修改大量RDS文件效率低下问题求助

核心问题分析 #

你的场景属于磁盘IO密集型任务，而非CPU密集型。28核并行会直接导致磁盘IO资源饱和，每个文件的实际读写耗时会远超过单线程下的1.8秒——磁盘无法同时承载28个并发读写请求，线程间会互相等待IO资源，这就是耗时远超理论值的根本原因。

具体优化方案 #

• 减少并行核数，匹配磁盘IO能力
  不要用满28核，根据磁盘类型调整并行数量：

  • 机械硬盘（HDD）：建议用4-6核，HDD随机寻道能力差，过多并发只会加剧等待
  • 固态硬盘（SSD）：建议用8-12核，SSD并行IO能力更强，但也远达不到28核的需求
    先测试不同核数的耗时，找到最优的并行规模。

• 优化RDS读写效率
  默认的compress="gzip"会带来额外的CPU压缩/解压缩开销，同时减慢读写速度。如果磁盘空间充足，直接关闭压缩：

  f = function(x){
      y = readRDS(x)
      # modify something in y
      saveRDS(y, x, compress = FALSE)
  }
  

  若必须压缩，可权衡选择compress="xz"（高压缩比，速度慢）或compress="bzip2"（中等压缩比，速度中等），但FALSE是最适合IO密集场景的选项。

• 优化文件处理顺序，减少磁盘寻道
  尽量让每个线程处理同一目录下的连续文件，避免随机跨目录处理。机械硬盘的寻道时间是主要耗时项，连续文件的寻道开销远低于随机文件。
  可以先按目录对文件分组，再将每组分配给不同线程：

  # 按目录分组
  dirs = unique(dirname(files))
  file_groups = lapply(dirs, function(d) list.files(d, full.names = TRUE))
  # 分组并行处理
  result = parLapply(cl, file_groups, function(group) lapply(group, f))
  

• 降低并行框架的额外开销
  替换pbapply::pbsapply为parallel::parLapply，去掉进度条带来的同步开销。同时确保只导出必要的函数/变量到集群节点：

  library(parallel)
  
  f = function(x){
      y = readRDS(x)
      # modify something in y
      saveRDS(y, x, compress = FALSE)
      return(TRUE)
  }
  
  files = list.files("C:\\my-dir", full.names = TRUE)
  cl = makeCluster(6) # 调整为合适的核数
  clusterExport(cl, "f") # 仅导出需要的函数
  result = parLapply(cl, files, f)
  stopCluster(cl)
  

• 升级硬件或清理磁盘资源

  • 若使用HDD，更换为SSD可大幅提升随机读写性能，直接解决IO瓶颈
  • 关闭占用磁盘IO的后台进程（如杀毒扫描、自动备份等），避免抢占资源

• 批量处理小文件（可选）
  如果你的RDS文件体积很小，可将多个小文件合并为一个大RDS文件处理，减少IO次数。处理完成后再拆分回原文件结构，适合小文件占比高的场景。

内容的提问来源于stack exchange，提问作者FSU79