批量读取多子文件夹RData内data.frame并合并及格式优化咨询

1. 获取所有RData文件路径 #

首先递归遍历目标根文件夹，收集所有.RData文件的完整路径：

# 替换为你的根文件夹路径
root_dir <- "你的根文件夹路径"
rdata_files <- list.files(path = root_dir, pattern = "\\.RData$", recursive = TRUE, full.names = TRUE)

2. 编写读取与提取函数 #

定义函数加载单个RData文件，筛选出其中的data.frame对象，仅保留第3-6列：

extract_target_cols <- function(file_path) {
  # 创建临时环境隔离加载的对象，避免污染全局环境
  temp_env <- new.env()
  load(file_path, envir = temp_env)
  
  # 定位环境中的data.frame对象（按描述每个文件仅一个）
  df_name <- Filter(function(x) is.data.frame(get(x, envir = temp_env)), ls(temp_env))
  if (length(df_name) != 1) stop(paste("文件", file_path, "中存在0个或多个data.frame，无法处理"))
  
  # 提取目标列并返回
  target_df <- get(df_name, envir = temp_env)[, 3:6]
  rm(temp_env)
  return(target_df)
}

3. 批量读取并合并 #

基础R实现 #

用lapply批量读取后，通过do.call(rbind, ...)合并为单个data.frame：

df_list <- lapply(rdata_files, extract_target_cols)
combined_df <- do.call(rbind, df_list)

大数据量推荐：data.table实现 #

针对数十万行级别的数据，data.table的合并效率和内存控制更优：

library(data.table)

# 批量读取并转换为data.table
dt_list <- lapply(rdata_files, function(path) {
  as.data.table(extract_target_cols(path))
})

# 快速合并所有data.table
combined_dt <- rbindlist(dt_list)

# 若需转回data.frame，执行：
# combined_df <- as.data.frame(combined_dt)

关于data.table的优势解答 #

是的，针对大量、大数据量的data.frame处理，优先使用data.table会更优：

• rbindlist的合并速度远快于base R的do.call(rbind, ...)和dplyr::bind_rows，内存占用也更低，尤其适合数十万行级别的数据合并。
• 合并后的后续数据操作（筛选、分组聚合等），data.table的语法和执行效率都显著优于普通data.frame。
• 全程用data.table处理可避免多次类型转换的额外开销，进一步提升性能。

如果内存紧张，还可以分批次读取合并（比如每50个文件合并一次，释放中间列表内存），但data.table本身的内存优化已经能应对大多数场景。

内容的提问来源于stack exchange，提问作者denis