在R集群运行1000次并行模拟：结果管理与合并的高效方案咨询

嗨，针对你这种1000个RData结果文件的合并需求，我有几个非常高效的方案，都是实际处理大规模模拟结果时常用的，完全不用逐个手动打开文件：

这个方案适配你当前已生成的文件，核心思路是用代码批量定位所有RData文件，自动读取并汇总：

# 第一步：定位所有目标RData文件（假设文件都存在./sim_results目录下，命名是result_1.RData到result_1000.RData）
file_paths <- list.files(
  path = "./sim_results", 
  pattern = "^result_\\d+\\.RData$", # 匹配规范的编号文件名
  full.names = TRUE # 返回完整文件路径
)

# 第二步：定义读取函数，避免污染全局环境
read_single_sim <- function(file_path) {
  # 创建临时环境存储读取的内容
  temp_env <- new.env()
  load(file_path, envir = temp_env)
  
  # 提取文件里的模拟结果（每个文件仅存一个变量）
  # *重点注意*：如果所有文件里的变量名固定（比如都叫sim_result），直接用temp_env$sim_result更稳妥
  sim_var <- ls(temp_env)[1]
  result <- temp_env[[sim_var]]
  
  # 给结果加上模拟编号，方便后续溯源
  sim_id <- as.integer(gsub("^result_(\\d+)\\.RData$", "\\1", basename(file_path)))
  result$sim_id <- sim_id
  
  return(result)
}

# 第三步：批量读取并合并成总数据框（如果每个模拟结果是数据框结构）
library(purrr)
all_sim_results <- map_dfr(file_paths, read_single_sim)

# 第四步：计算各指标的平均值
mean_results <- colMeans(all_sim_results[, !names(all_sim_results) %in% "sim_id"])

如果下次还要做类似大规模模拟，建议用saveRDS代替save存储单个结果，这样读取会更简洁高效，不需要处理变量名的问题：

# 模拟时的存储代码（替换原来的save语句）
for (i in 1:1000) {
  # 你的模拟逻辑...
  sim_result <- run_your_simulation(i)
  saveRDS(sim_result, file = paste0("./sim_results/result_", i, ".rds"))
}

# 读取合并时更简单：
all_sim_results <- map_dfr(file_paths, readRDS)

如果你的集群IO带宽足够，还可以用并行读取进一步提速（适合文件数量特别多的场景）：

library(parallel)
# 用集群分配的核心数（比如指定8核，根据你的集群配置调整）
num_cores <- 8
all_sim_list <- mclapply(file_paths, read_single_sim, mc.cores = num_cores)
# 合并成总数据框
all_sim_results <- do.call(rbind, all_sim_list)

额外小技巧：如果你的模拟结果不是数据框，而是向量或者列表，只需要把map_dfr换成map，然后用reduce或者do.call(cbind, ...)来合并，再计算平均值即可。

内容的提问来源于stack exchange，提问作者user321627