R语言中高效合并多RData文件内info对象的优化方法咨询

你的原始方法变慢的核心原因是：每次rbind都会完整复制现有info_perm的所有数据，再拼接新的info，随着数据量增大，复制开销呈线性增长。下面提供两种在循环框架下无需反复重写整个数据框的高效方案：

方案1：预先分配固定大小的数据框（适用于每个info行数固定的场景） #

如果每个RData文件里的info行数完全一致，可以直接预先创建足够大的空数据框，再逐段填充数据：

# 先加载第一个文件获取结构和单文件行数
load("./output/1.RData")
single_row_count <- nrow(info)
total_rows <- 1000 * single_row_count

# 基于info的列类型创建空数据框，预留perm列
info_perm <- data.frame(
  lapply(info, function(col) vector(typeof(col), total_rows)),
  perm = integer(total_rows)
)
rm(info)

# 循环填充数据
current_start <- 1
for (perm in 1:1000) {
  load(paste0("./output/", perm, ".RData"))
  current_end <- current_start + nrow(info) - 1
  
  # 将当前info的数据写入对应位置
  info_perm[current_start:current_end, names(info)] <- info
  info_perm[current_start:current_end, "perm"] <- perm
  
  current_start <- current_end + 1
  rm(info)
  
  if (perm %% 100 == 0) {print(perm)}
}
rm(perm, current_start, current_end, single_row_count, total_rows)

方案2：先统计总行数再分配内存（适用于info行数不固定的场景） #

如果不同文件的info行数不一致，需要先遍历一次所有文件统计行数，再创建对应大小的空结构：

# 第一步：遍历所有文件，统计每个info的行数
row_counts <- integer(1000)
for (perm in 1:1000) {
  load(paste0("./output/", perm, ".RData"))
  row_counts[perm] <- nrow(info)
  rm(info)
  if (perm %% 100 == 0) {print(perm)}
}
total_rows <- sum(row_counts)

# 第二步：基于第一个文件的结构创建空数据框
load("./output/1.RData")
info_perm <- data.frame(
  lapply(info, function(col) vector(typeof(col), total_rows)),
  perm = integer(total_rows)
)
rm(info)

# 第三步：循环填充数据
current_start <- 1
for (perm in 1:1000) {
  load(paste0("./output/", perm, ".RData"))
  current_row_num <- row_counts[perm]
  current_end <- current_start + current_row_num - 1
  
  info_perm[current_start:current_end, names(info)] <- info
  info_perm[current_start:current_end, "perm"] <- perm
  
  current_start <- current_end + 1
  rm(info)
  
  if (perm %% 100 == 0) {print(perm)}
}
rm(perm, current_start, current_end, row_counts, total_rows)

进阶优化：用data.table提升内存操作效率 #

如果数据量极大，推荐使用data.table的内存操作，它的列赋值效率比base R更高：

library(data.table)

# 统计行数（同方案2第一步）
row_counts <- integer(1000)
for (perm in 1:1000) {
  load(paste0("./output/", perm, ".RData"))
  row_counts[perm] <- nrow(info)
  rm(info)
  if (perm %% 100 == 0) {print(perm)}
}
total_rows <- sum(row_counts)

# 创建空data.table
load("./output/1.RData")
info_perm <- data.table(
  lapply(info, function(col) vector(typeof(col), total_rows)),
  perm = integer(total_rows)
)
setcolorder(info_perm, c(names(info), "perm")) # 保持原始列顺序
rm(info)

# 循环填充
current_start <- 1
for (perm in 1:1000) {
  load(paste0("./output/", perm, ".RData"))
  current_row_num <- row_counts[perm]
  current_end <- current_start + current_row_num - 1
  
  # data.table的直接列赋值，无额外复制开销
  info_perm[current_start:current_end, names(info) := info]
  info_perm[current_start:current_end, perm := perm]
  
  current_start <- current_end + 1
  rm(info)
  
  if (perm %% 100 == 0) {print(perm)}
}
rm(perm, current_start, current_end, row_counts, total_rows)

这些方案的核心逻辑都是预先分配足够的内存空间，避免每次循环都复制整个数据集，从根本上解决了内存拷贝带来的性能下降问题。

内容的提问来源于stack exchange，提问作者Jautis