R语言并行化代码运行耗时更长的原因及正确实现优化方案

你写的并行逻辑存在本质错误：外层foreach循环100次，每个启动的并行worker内部又完整执行了一遍100次子集生成、100次模型训练、100次预测的全流程，总计算量是原串行版本的100倍，再加上跨进程传输大对象的额外开销，运行速度自然远低于串行版本。另外你的代码还存在路径拼接bug：saveRDS的路径写为paste0("wd", ...)，没有调用之前定义的工作目录变量wd，模型会被错误保存在当前路径下带wd前缀的文件中。

这些优化不管串行还是并行都能带来数倍到数十倍的提速，针对2亿行规模的数据集效果尤其明显：

• 提前拆分训练集类别索引：提前把train_set中类别0和类别1对应的行索引存为独立向量，采样时直接从索引向量中抽样，避免每次循环都扫描全表执行which(train_set$class == "x")判断，大数据下这部分重复计算的开销极高。
• 删除无意义中间步骤：原串行代码中rbind所有子集生成results_df、再拆分X、往全局环境赋值train_set_1到train_set_100的操作完全冗余，每个子集采样完成后可直接用于模型训练，不需要额外存储所有子集，能节省大量内存和数据拷贝时间。
• 优化预测聚合逻辑：抛弃rbind所有预测结果+aggregate分组求均值的方案，直接存储每个模型输出的概率矩阵，最后用矩阵运算直接求所有预测结果的均值，速度比aggregate快几十倍。
• 裁剪训练子集字段：采样时只保留模型训练需要的特征列和标签列，不要把id等无关字段带入训练子集，降低子集的内存占用和拷贝开销。
• 修正路径拼接逻辑：用file.path(wd, paste0("model_", i, ".RDS"))替换原来的路径拼接代码，避免跨系统路径错误。

并行的核心原则是每个worker仅处理单个独立迭代任务，不要在worker内部执行全量循环：将100个「采样子集→训练模型→测试集预测」的独立任务平均分配给各个CPU核心，每个worker完成任务后仅返回预测概率矩阵，最终由主进程统一聚合结果。
实现时需要注意：

• 不要自动导出全局环境所有对象到worker，仅传输任务必须的索引、数据集、变量，否则2亿行数据集被复制到每个worker会直接占满内存，跨进程传输开销也会抵消并行收益。
• 不要用detectCores()占满所有CPU核心，留1-2个核心给系统和主进程，避免系统卡顿。
• 不要在worker内做全局环境赋值、存储最终结果，所有结果聚合统一在主进程完成。

可直接运行的优化后代码如下：

library(dplyr)
library(ranger)
library(doParallel)
library(foreach)

# Step1 数据准备
set.seed(123) # 固定随机种子保证结果可复现
original_data = rbind(
  data_1 = data.frame( class = 1, height = rnorm(10000, 180,10), weight = rnorm(10000, 90,10), salary = rnorm(10000,50000,10000)),
  data_2 = data.frame(class = 0, height = rnorm(100, 160,10), weight = rnorm(100, 100,10), salary = rnorm(100,40000,10000))
)
original_data$class = as.factor(original_data$class)
original_data$id = 1:nrow(original_data)

test_set=  rbind(
  original_data[ sample( which( original_data$class == "0" ) , replace = FALSE , 30 ) , ],
  original_data[ sample( which( original_data$class == "1" ) , replace = FALSE, 2000 ) , ]
)
train_set = anti_join(original_data, test_set)

# 提前做优化准备：拆分类别索引、指定训练用到的列
train_idx0 <- which(train_set$class == "0")
train_idx1 <- which(train_set$class == "1")
train_cols <- c("class", "height", "weight", "salary")
wd <- getwd()

# 并行集群初始化
cl <- makeCluster(detectCores() - 1) # 留1个核心给系统
registerDoParallel(cl)
# 仅导出必要变量到worker节点
clusterExport(cl, varlist = c("train_idx0", "train_idx1", "train_set", "test_set", "train_cols", "wd"), envir = environment())

# 并行执行100次独立迭代
pred_list <- foreach(
  i = 1:100,
  .packages = c("ranger"),
  .combine = "list"
) %dopar% {
  # 采样平衡子集
  sample_i <- rbind(
    train_set[sample(train_idx0, size = 50, replace = TRUE), train_cols],
    train_set[sample(train_idx1, size = 60, replace = TRUE), train_cols]
  )
  # 训练模型
  model_i <- ranger(class ~ height + weight + salary, data = sample_i, probability = TRUE)
  # 可选：保存模型到本地，不需要可以注释掉
  saveRDS(model_i, file.path(wd, paste0("model_", i, ".RDS")))
  # 返回当前模型的测试集预测结果
  predict(model_i, data = test_set)$predictions
}

# 关闭并行集群
stopCluster(cl)

# 主进程聚合所有预测结果：矩阵直接求均值
final_predictions_prob <- Reduce("+", pred_list) / length(pred_list)
final_predictions <- data.frame(
  id = 1:nrow(test_set),
  final_predictions_prob
)

针对2亿行规模的数据集，额外补充两个优化建议：

1. 训练集优先使用data.table格式存储，切片、采样的速度比基础data.frame快一个数量级，内存占用也更低。
2. 如果内存不足以加载全量2亿行数据，可以将两个类别的数据分别存储为fst/parquet列式存储文件，采样时直接按位置读取对应行，不需要加载全量数据到内存。

内容的提问来源于stack exchange，提问作者stats_noob