在R中用DEOptim调优caret梯度提升模型：准确率返回是否正确？

我正在R语言中使用DEOptim对caret包的梯度提升（gbm）模型进行调优。我的疑问是，在评估函数中通过以下代码返回迭代时的最大准确率是否正确？

return(XGBoost_model$results$Accuracy) # Maximum Accuracy

我提出此问题是因为绘制结果图时，图形呈下降趋势：

我的评估函数定义如下：

XGBoost_model <- caret::train(isMut ~., 
                             data = data,
                             method = "gbm",
                             trControl = train_settings,
                             verbose = FALSE, 
                            
                             tuneGrid = expand.grid(
                                 interaction.depth = round(x1), # 树深度
                                 n.trees = round(x2), # 树数量
                                 shrinkage = 0.1, 
                                 n.minobsinnode = 20 
                             ) 
        )
    )
    
    return(XGBoost_model$results$Accuracy) # Maximum Accuracy
    
}

# 定义每个输入的最小值和最大值
interaction.depth_min_max <- c(1,9)
n.trees_min_max <- c(1500,2000)

问题根源与修正方案 #

核心问题：目标函数方向错误

你当前的写法不正确，主要原因是DEOptim默认执行最小化优化，但你返回的是需要最大化的准确率，导致算法朝着准确率更低的方向搜索，最终出现结果图下降的趋势。此外代码存在语法错误：train函数末尾多了一个闭合括号。

具体修正步骤

1. 反转目标函数：返回-Accuracy，让DEOptim的最小化操作等价于最大化准确率
2. 修复语法错误：删除train函数多余的闭合括号
3. 确保返回单一值：当tuneGrid仅传入一组参数时，results$Accuracy是单个数值，直接返回即可

修正后的评估函数核心代码：

XGBoost_model <- caret::train(isMut ~., 
                             data = data,
                             method = "gbm",
                             trControl = train_settings,
                             verbose = FALSE, 
                            
                             tuneGrid = expand.grid(
                                 interaction.depth = round(x1),
                                 n.trees = round(x2),
                                 shrinkage = 0.1, 
                                 n.minobsinnode = 20 
                             ) 
)

# 返回负准确率，实现最大化准确率的优化目标
return(-XGBoost_model$results$Accuracy)

额外建议

• 确认train_settings中的summaryFunction适配分类任务（默认分类任务为准确率，若为其他任务需调整）
• 可添加打印语句跟踪迭代过程，方便排查问题：

cat("当前参数：depth=", round(x1), " trees=", round(x2), " 准确率=", XGBoost_model$results$Accuracy, "\n")

内容的提问来源于stack exchange，提问作者user979974