R批量读取多文件绘图存CSV/PDF时内存不足崩溃问题咨询

• 初始代码一次性加载文件夹内所有文件到内存，文件总量超过可用RAM时直接触发崩溃
• 每次for循环都对全量已加载文件做重复合并计算，内存占用随文件数呈指数级上升，属于完全无意义的性能损耗
• 全局对象持续累积全量处理数据、CSV写入逻辑错误重复覆写、绘图逻辑错位，进一步加剧内存浪费

# 加载依赖包
library(data.table)
library(tidyverse)
library(stringr)

# 配置路径参数
input_dir <- "/work/newplots"
output_csv <- "/work/con1_10.csv"
output_summary_pdf <- "/work/summary_plot.pdf"

# 获取所有目标文件路径，按需修改文件匹配规则
all_paths <- list.files(
  path = input_dir,
  pattern = "\\.csv$", # 仅匹配csv格式文件，避免读入无关文件
  full.names = TRUE,
  recursive = FALSE
)

# 初始化标记：控制CSV首次写入时输出表头
first_write <- TRUE
# 预分配列表存储汇总绘图必需的最小数据集，内存效率远高于循环内rbind
plot_data_list <- vector("list", length(all_paths))

# 逐文件流式处理
for (i in seq_along(all_paths)) {
  # 仅加载当前单个文件到内存，内存占用始终维持在单文件大小水平
  single_raw <- read.table(
    file = all_paths[i],
    header = TRUE,
    skip = 60,
    sep = ',',
    encoding = "UTF-8"
  )

  # 执行原有数据处理逻辑
  single_raw$File.Path <- all_paths[i]
  path_split_cols <- str_split_fixed(single_raw$File.Path, " ", 23) %>% 
    as.data.frame()
  
  single_processed <- single_raw %>% 
    cbind(path_split_cols) %>% 
    select(-File.Path) %>% 
    filter(X1 == 'Interactions') %>% 
    select(V1, X2) %>% 
    mutate(
      X2 = as.numeric(X2),
      Z = (2 * X2) / 20006, # 提前计算绘图需要的衍生指标
      file_source = i # 增加文件来源标识，方便汇总绘图区分
    )

  # 追加写入CSV：首次写入带表头，后续仅追加数据不写表头、行名
  write.table(
    single_processed,
    file = output_csv,
    sep = ",",
    row.names = FALSE,
    col.names = first_write,
    append = !first_write
  )
  first_write <- FALSE

  # 仅留存绘图必需字段到列表，不存储多余数据
  plot_data_list[[i]] <- single_processed[, c("file_source", "V1", "X2", "Z")]

  # 如需保存单文件处理后的图片，可在此处添加对应单图输出逻辑，输出完成自动释放内存
  # 单图输出示例：
  # png(paste0("/work/single_file_plot_", i, ".png"), width = 800, height = 600)
  # plot(single_processed$X2, xlab="Cycle number",ylab="Interactions",type = "p")
  # plot(single_processed$Z, xlab="Cycle number", ylab="Z")
  # dev.off()

  # 立即删除当前循环的临时对象，触发垃圾回收释放内存
  rm(single_raw, path_split_cols, single_processed)
  gc(verbose = FALSE)
}

# 所有文件处理完成后，一次性合并汇总绘图数据
all_plot_data <- rbindlist(plot_data_list, fill = TRUE)
rm(plot_data_list)
gc(verbose = FALSE)

# 打开PDF设备输出统一汇总图表
pdf(output_summary_pdf, width = 10, height = 8)
plot(all_plot_data$X2, xlab="Cycle number",ylab="Interactions",type = "p", col = all_plot_data$file_source)
plot(all_plot_data$Z, xlab="Cycle number", ylab="Z", col = all_plot_data$file_source)
dev.off()

• 采用逐文件流式处理逻辑：每次循环仅读取1个目标文件，处理完成后立即清理临时对象、回收内存，运行内存不会随总文件数上涨
• 替换低效的循环内rbind操作为列表暂存：预分配列表仅存储绘图必需字段，循环结束后一次性合并，避免每次数据合并都复制全量数据集的额外开销
• 修正CSV写入逻辑：首次写入输出表头，后续结果以追加模式写入，无需在内存中留存全量结果即可完成CSV输出
• 修正绘图逻辑：单文件图表按需独立输出，全量数据处理完成后统一绘制汇总图写入PDF，避免重复绘图占用内存
• 收紧文件匹配规则：原代码pattern = "*.*"会匹配文件夹下所有类型文件（含临时文件、子文件夹），改为匹配指定后缀的目标文件，避免读入无关数据浪费内存

内容的提问来源于stack exchange，提问作者shah nawaz