合并超大量小文件时R程序卡顿冻结的解决方案咨询

原代码卡顿的核心原因是循环中反复拼接数据框：每次bind_rows都会复制整个已有数据框并添加新数据，随着数据量增大，内存占用呈指数级增长，最终导致程序冻结。以下是几种高效的解决方法：

1. 用批量映射函数替代手动循环（最简便） #

purrr::map_dfr可以批量读取文件并直接合并成数据框，内部优化了内存分配，比手动循环高效得多：

library(jsonlite)
library(purrr)

# 收集所有目标文件路径（支持多文件夹，可循环遍历文件夹列表）
all_files <- list.files(
  path = your_root_path, # 替换为你的根文件夹路径
  pattern = "*.json",    # 替换为你的文件匹配规则
  recursive = TRUE,
  full.names = TRUE
)

# 批量读取并合并，仅保留需要的列（可选，进一步节省内存）
json_data_all <- map_dfr(all_files, function(file) {
  json_data <- read_json(file, simplifyVector = TRUE)
  # 只保留需要的列，比如text, created_at, user_id等
  json_data[, c("text", "created_at", "user_id")]
})

2. 用data.table提升合并效率 #

data.table::rbindlist是目前R中最快的行合并函数，配合批量读取可以进一步降低内存压力：

library(jsonlite)
library(data.table)

all_files <- list.files(
  path = your_root_path,
  pattern = "*.json",
  recursive = TRUE,
  full.names = TRUE
)

# 批量读取为data.table列表，再合并
json_list <- lapply(all_files, function(file) {
  as.data.table(read_json(file, simplifyVector = TRUE))
})

json_data_all <- rbindlist(json_list, fill = TRUE) # fill=TRUE处理列不一致的情况

3. 分块处理（超大量文件必备） #

如果文件总数超过5万，建议分块处理：将文件分成若干组，每组处理后保存为临时文件，最后再合并所有临时文件，避免一次性加载所有数据到内存：

library(jsonlite)
library(data.table)

all_files <- list.files(
  path = your_root_path,
  pattern = "*.json",
  recursive = TRUE,
  full.names = TRUE
)

# 分块大小，比如每5000个文件为一块
chunk_size <- 5000
chunks <- split(all_files, ceiling(seq_along(all_files)/chunk_size))

# 处理每个分块并保存临时文件
for (i in seq_along(chunks)) {
  chunk_list <- lapply(chunks[[i]], function(file) {
    as.data.table(read_json(file, simplifyVector = TRUE))
  })
  chunk_data <- rbindlist(chunk_list, fill = TRUE)
  fwrite(chunk_data, paste0("temp_chunk_", i, ".csv")) # 保存为csv或fst格式
}

# 合并所有临时文件
temp_files <- list.files(pattern = "temp_chunk_*.csv", full.names = TRUE)
final_data <- rbindlist(lapply(temp_files, fread), fill = TRUE)

# 删除临时文件
file.remove(temp_files)

4. 并行处理（加快读取速度） #

用furrr包实现并行读取，利用多核CPU提升处理效率，适合文件数量极多的场景：

library(jsonlite)
library(furrr)
library(data.table)

# 初始化并行会话
plan(multisession, workers = 4) # 根据CPU核心数调整workers数量

all_files <- list.files(
  path = your_root_path,
  pattern = "*.json",
  recursive = TRUE,
  full.names = TRUE
)

# 并行读取并合并
json_list <- future_map(all_files, function(file) {
  as.data.table(read_json(file, simplifyVector = TRUE))
})

json_data_all <- rbindlist(json_list, fill = TRUE)

# 关闭并行会话
plan(sequential)

额外优化建议 #

• 过滤冗余列：读取文件时只保留需要的字段，避免加载无用数据占用内存。
• 使用高效格式：临时文件推荐用fst格式（比csv读写快很多，且压缩率高），需要安装fst包。
• 清理内存：处理过程中可以用gc()手动触发垃圾回收，释放闲置内存。

内容的提问来源于stack exchange，提问作者m45ha