使用R处理内存超限的大.tsv.bz2文件：合并优化求助

首先，你的代码内存耗尽的核心原因是每次循环都将新处理的数据合并到不断增大的a表中，这会导致内存中同时存在旧的a、新的a以及当前处理的dt，内存占用呈线性增长，很快就会耗尽120GB内存。下面是几个针对性的优化方案，从代码逻辑到内存使用都帮你调整：

优化方案1：用列表收集处理结果，最后一次性合并 #

这是最有效的优化，避免每次循环都复制大表。我们先把每个文件处理后的结果存入列表，最后用rbindlist一次性合并，内存里只会同时保留单个处理后的表和列表的小开销：

library(data.table)
library(urltools)

files <- list.files(path="/mypath", pattern="*.bz2", full.names=T, recursive=FALSE)

# 初始化空列表存储处理后的结果
processed_list <- vector("list", length(files))

for(i in seq_along(files)) {
  current_file <- files[i]
  print(current_file)
  
  # 1. 直接用fread读取bz2文件（data.table支持自动处理压缩格式），只读取需要的列
  # 假设ColA到ColE是第1-5列，用select参数过滤，减少内存加载量
  dt <- fread(current_file, header=F, select=1:5)
  setnames(dt, c("ColA", "ColB", "ColC", "ColD", "ColE"))
  
  # 2. 先过滤数据（减少后续处理的行数）
  dt <- dt[ColB == "something"]
  
  # 3. 处理域名和后缀，用data.table原地修改语法，避免复制
  dt[, domain_ext := domain(ColA)]
  se_result <- suffix_extract(domain_ext)
  dt[, names(se_result) := se_result]
  dt[, domain_ext := NULL] # 移除临时列
  
  # 4. 将处理后的表存入列表，然后清理当前变量
  processed_list[[i]] <- dt
  rm(dt, se_result)
  gc() # 手动触发垃圾回收，及时释放内存
}

# 5. 最后一次性合并所有处理后的表
a <- rbindlist(processed_list, use.names=T, fill=F)
rm(processed_list)
gc()

# 保存结果
save(a, file="all.RData")

这个方案的关键优化点： #

• 避免逐步合并：列表收集的方式让内存始终只保留单个处理后的表，不会累积大表的重复副本
• 按需读取列：select参数直接跳过不需要的列，从源头减少内存占用
• 原地修改数据：用:=代替cbind，避免创建新的data.table对象，节省内存
• 主动垃圾回收：gc()及时释放不再使用的变量内存，尤其是处理完大文件后

优化方案2：分步保存临时文件，最后合并（适合超大规模数据） #

如果列表收集还是觉得内存紧张，可以把每个处理后的表保存为临时文件，最后再读取合并，这样内存里只在处理单个文件时占用资源：

library(data.table)
library(urltools)
library(arrow)

files <- list.files(path="/mypath", pattern="*.bz2", full.names=T, recursive=FALSE)

# 先创建临时目录存储处理后的文件
temp_dir <- "/tmp/processed_files"
dir.create(temp_dir, recursive=T, showWarnings=F)

for(i in seq_along(files)) {
  current_file <- files[i]
  print(current_file)
  
  # 重复方案1的处理步骤
  dt <- fread(current_file, header=F, select=1:5)
  setnames(dt, c("ColA", "ColB", "ColC", "ColD", "ColE"))
  dt <- dt[ColB == "something"]
  dt[, domain_ext := domain(ColA)]
  se_result <- suffix_extract(domain_ext)
  dt[, names(se_result) := se_result]
  dt[, domain_ext := NULL]
  
  # 保存为高效格式（feather读写快且占用小）
  temp_file <- file.path(temp_dir, paste0("processed_", i, ".feather"))
  write_feather(dt, temp_file)
  
  rm(dt, se_result)
  gc()
}

# 读取所有临时文件并合并
temp_files <- list.files(temp_dir, pattern="*.feather", full.names=T)
a <- rbindlist(lapply(temp_files, read_feather), use.names=T, fill=F)

# 清理临时文件（可选）
unlink(temp_dir, recursive=T)
save(a, file="all.RData")

这个方案的优势： #

• 内存占用降到最低，每次只处理一个文件，处理完就写入磁盘
• 用feather这类列式存储格式，比tsv读写更快，压缩率更高

额外的小技巧 #

1. 去掉多余的转换：原代码里dt <- as.data.table(dt)完全没必要，fread默认返回data.table，直接用就行
2. 优化管道命令：如果必须去除null字符，试试fread(current_file, header=F, na.strings=c("\000"))，看能不能替代tr -d '\000'，减少管道的开销
3. 监控内存使用：可以用pryr::mem_used()在循环中查看实时内存占用，方便排查哪个步骤内存消耗大

内容的提问来源于stack exchange，提问作者et_