如何高效读取超1000个RData文件？现有代码运行过慢求助

你的代码运行缓慢的核心问题是：每次循环都用dplyr::bind_rows(data, file_data)合并数据框，这会不断复制已有数据并创建新对象。随着数据量积累，内存开销和时间成本会呈指数级上升，这就是跑一天都没完成的原因。

下面是几种高效的优化方案，按实现复杂度和效率排序：

方案1：先收集到列表，再一次性合并（最基础且见效的优化） #

先把每个文件的数据存入列表，最后一次性合并，避免循环中反复复制整个数据框：

# 初始化空列表存储每个文件的数据
data_list <- list()

for (file in files) {
  path <- paste0("Data/", file, ".RData") 
  if (file.exists(path)) {
    # 用临时环境加载文件，避免污染全局环境
    temp_env <- new.env()
    load(path, envir = temp_env)
    # 将数据加入列表
    data_list[[file]] <- temp_env$file_data
  }
}

# 一次性合并所有列表元素
data <- dplyr::bind_rows(data_list)

用临时环境加载的好处：避免全局环境中的file_data被反复覆盖，同时防止文件中的其他变量意外污染工作空间。

方案2：用purrr简化代码（更简洁的实现） #

用purrr包的函数替代循环，代码更简洁，效率和方案1一致：

library(purrr)
library(dplyr)

# 生成所有文件路径并过滤存在的文件
file_paths <- paste0("Data/", files, ".RData")
existing_paths <- Filter(file.exists, file_paths)

# 定义读取单个RData文件的函数
read_single_rdata <- function(path) {
  temp_env <- new.env()
  load(path, envir = temp_env)
  temp_env$file_data
}

# 批量读取并合并
data <- existing_paths %>%
  map(read_single_rdata) %>%
  bind_rows()

方案3：用data.table提速（大数据量下更优） #

如果数据量极大，推荐用data.table包的rbindlist函数，它基于C实现，合并速度和内存效率远高于dplyr::bind_rows：

library(data.table)

data_list <- list()

for (file in files) {
  path <- paste0("Data/", file, ".RData") 
  if (file.exists(path)) {
    temp_env <- new.env()
    load(path, envir = temp_env)
    # 转换为data.table存入列表
    data_list[[file]] <- as.data.table(temp_env$file_data)
  }
}

# 合并列表，fill=TRUE可自动处理不同文件列不一致的情况
data <- rbindlist(data_list, fill = TRUE)

进阶优化：并行处理（利用多核心加速） #

如果你的机器有多个CPU核心，可以用并行处理进一步缩短时间，注意内存要足够（多进程会同时加载文件，内存占用会增加）：

library(furrr)
library(dplyr)

# 开启多核心并行（根据自己机器核心数调整）
plan(multisession, workers = 4)

file_paths <- paste0("Data/", files, ".RData")
existing_paths <- Filter(file.exists, file_paths)

read_single_rdata <- function(path) {
  temp_env <- new.env()
  load(path, envir = temp_env)
  temp_env$file_data
}

# 并行读取并合并
data <- existing_paths %>%
  future_map(read_single_rdata) %>%
  bind_rows()

额外注意事项 #

• 提前确认所有文件中file_data的结构是否一致：如果一致，可以预先定义数据框的列类型，避免合并时自动推断类型的开销。
• 定期清理临时对象：合并完成后可以用rm(data_list); gc()释放内存。

内容的提问来源于stack exchange，提问作者dlwhch