如何限制R语言并行训练机器学习模型的核心占用量？

你的问题根源在于嵌套并行：通过doParallel创建了5个PSOCK集群进程，而xgbTree算法默认会调用系统所有可用核心，导致每个集群进程又单独启动多线程训练，最终资源叠加消耗。以下是具体解决方法：

方法一：直接在train函数中指定xgboost的线程数 #

在caret::train中通过额外参数nthread，限制每个xgboost进程使用的核心数（比如设为3）：

library(doParallel)
cl <- makePSOCKcluster(5)
registerDoParallel(cl)

classifier2 = caret::train(x = train_x, 
                   y = y.factor,
                   method = 'xgbTree',
                   metric = "ROC", 
                   tuneGrid = grid,
                   trControl = trainControl(method = "cv",
                                            number = 5,
                                            summaryFunction=twoClassSummary, 
                                            classProbs=T,
                                            savePredictions = T,
                                            verboseIter = TRUE),
                   nthread = 3) # 限制每个xgboost实例使用3个核心

stopCluster(cl)

方法二：通过环境变量限制每个集群节点的线程数 #

xgboost依赖OpenMP实现并行，可以在创建PSOCK集群时，为每个节点设置OMP_NUM_THREADS环境变量，强制限制线程数：

library(doParallel)
# 创建集群时为每个节点设置环境变量，限制OpenMP线程数为2
cl <- makePSOCKcluster(5, 
                       rscript_args = c("-e", "Sys.setenv(OMP_NUM_THREADS=2)"))
registerDoParallel(cl)

# 训练代码保持不变
classifier2 = caret::train(x = train_x, 
                   y = y.factor,
                   method = 'xgbTree',
                   metric = "ROC", 
                   tuneGrid = grid,
                   trControl = trainControl(method = "cv",
                                            number = 5,
                                            summaryFunction=twoClassSummary, 
                                            classProbs=T,
                                            savePredictions = T,
                                            verboseIter = TRUE))

stopCluster(cl)

注意事项 #

• 总核心占用计算：5个集群节点 × 每个节点2-3核 = 10-15核，远低于服务器40核的上限，不会影响其他用户使用。
• 若后续切换到其他并行模型（如随机森林rf），需对应调整模型的并行参数（比如rf的n.cores），避免同样的嵌套并行问题。

内容的提问来源于stack exchange，提问作者cloudscomputes