R环境下如何在XGBoost中使用多GPU？含内存清理等问题

结合你的环境（R 3.4.4、Ubuntu 18.04.3、xgboost_1.0.0.1、CUDA 10.2），我来逐一解决你的三个问题：

1. 启用双GPU并行训练 #

你提到gpu_id=-1无效且n_gpus已被弃用，这在xgboost 1.x版本的R包中确实存在CUDA 10.x环境下的兼容性问题。正确的单机多GPU训练配置方式是显式指定GPU ID列表，同时确保使用支持GPU加速的树方法：

# 配置参数，显式指定两块GPU（ID通常为0和1）
params <- list(
  objective = "your_objective_function", # 替换为你的目标函数，比如"binary:logistic"
  tree_method = "gpu_hist", # 必须使用GPU加速的树方法，gpu_hist是最常用的选项
  gpu_id = c(0, 1), # 显式指定要使用的GPU ID
  nthread = parallel::detectCores() # 配合CPU线程数优化训练效率
)

# 训练模型
dtrain <- xgb.DMatrix(data = train_data, label = train_label)
model <- xgb.train(params = params, data = dtrain, nrounds = 100)

注意事项：

• 确保你的GPU驱动版本适配CUDA 10.2（建议440.x及以上版本）
• 若训练时仍只有单GPU工作，用nvidia-smi命令检查是否有其他进程占用了另一块GPU资源
• xgboost 1.x的单机多GPU采用数据并行模式，会自动拆分数据到不同GPU上同步训练

2. 批量训练后的GPU内存缓存清理 #

参数调优循环中内存累积导致R崩溃，核心原因是xgboost模型占用的GPU内存未被及时释放。可以通过以下步骤解决：

方法1：R垃圾回收+模型对象清理 #

每次训练完成后，主动删除模型对象并触发垃圾回收：

# 训练单个模型后执行清理
rm(model) # 删除当前模型对象
gc() # 强制触发R的垃圾回收机制，释放内存

方法2：重置GPU缓存（更彻底） #

如果垃圾回收仍无法释放内存，可通过CUDA命令强制重置GPU缓存（需确保当前无其他GPU进程运行）：

# 清理当前进程的GPU缓存
system("nvidia-smi --gpu-reset", wait = TRUE)

方法3：优化循环逻辑 #

• 不要保存所有训练后的模型，仅保留最优模型或必要的参数结果
• 适当降低单轮训练的max_bin参数值（默认256），减少单模型的GPU内存占用

3. 切换gpu_id时R崩溃的解决 #

切换GPU时崩溃，通常是因为前一次训练的GPU资源未被彻底释放，导致上下文冲突。可以按以下流程操作：

# 切换GPU前的强制清理步骤
if (exists("model")) {
  rm(model) # 删除上一个模型对象
}
gc() # 强制垃圾回收
system("nvidia-smi --gpu-reset", wait = TRUE) # 重置GPU状态

# 切换到目标GPU训练
params$gpu_id = 1 # 或0，根据需要切换
new_model <- xgb.train(params = params, data = dtrain, nrounds = 100)

进阶方案：多进程隔离GPU使用 #

如果切换仍不稳定，建议用parallel包创建独立进程分别使用不同GPU，避免上下文冲突：

library(parallel)

# 定义每个GPU的训练函数
train_on_gpu <- function(gpu_id) {
  params <- list(
    objective = "your_objective_function",
    tree_method = "gpu_hist",
    gpu_id = gpu_id
  )
  dtrain <- xgb.DMatrix(data = train_data, label = train_label)
  model <- xgb.train(params = params, data = dtrain, nrounds = 100)
  return(model)
}

# 并行在两块GPU上训练
gpu_models <- mclapply(c(0, 1), train_on_gpu, mc.cores = 2)

内容的提问来源于stack exchange，提问作者Toby