使用caret+rpart优化灵敏度却仍以ROC选模型，如何修改？

我之前也碰到过一模一样的情况——默认情况下Caret确实会优先用ROC或准确率来挑选最优模型，要覆盖这个逻辑，核心是明确告诉Caret你要优化的指标是什么，而不只是单纯自定义性能函数。下面是一步步的实操解决方案：

1. 自定义包含灵敏度的性能评估函数 #

首先我们需要一个能计算灵敏度（以及你可能关心的其他辅助指标）的自定义函数，Caret会在交叉验证过程中调用它来评估每个候选模型：

# 自定义性能汇总函数，重点返回灵敏度指标
sens_oriented_summary <- function(data, lev = NULL, model = NULL) {
  # 计算灵敏度：利用Caret传递的lev参数确保分类水平匹配，避免正/负类混淆
  sens_score <- sensitivity(data$obs, data$pred, lev = lev)
  # 可选：添加其他你关心的指标（比如特异性、ROC）
  spec_score <- specificity(data$obs, data$pred, lev = lev)
  roc_score <- rocAUC(data$obs, data[, lev[1]])
  
  # 返回命名的结果列表，Caret会识别这些指标名称
  results <- c(Sensitivity = sens_score, 
               Specificity = spec_score, 
               ROC = roc_score)
  return(results)
}

2. 配置训练控制参数 #

接下来在trainControl里指定使用我们的自定义函数，同时如果需要计算ROC的话要开启classProbs = TRUE（只关心灵敏度的话可以省略，但不影响整体运行）：

train_ctrl <- trainControl(
  method = "cv",  # 这里用交叉验证，你可以换成boot等其他验证方法
  summaryFunction = sens_oriented_summary,  # 绑定自定义的评估函数
  classProbs = TRUE  # 若要计算ROC则需要，否则可移除
)

3. 训练模型时明确指定优化目标 #

这是最关键的一步！很多人只自定义了函数但忘了在train()里明确告诉Caret要最大化灵敏度，结果还是会沿用默认指标。我们需要设置metric = "Sensitivity"和maximize = TRUE：

# 假设你的预测变量是predictors，响应变量是response（需为因子类型）
rpart_sens_model <- train(
  x = predictors,
  y = response,
  method = "rpart",
  trControl = train_ctrl,
  metric = "Sensitivity",  # 指定用灵敏度作为选模型的核心准则
  maximize = TRUE,  # 明确要最大化这个指标
  tuneLength = 10  # 或者手动指定tuneGrid来精准调优rpart的cp参数
)

验证是否生效 #

训练完成后，查看模型摘要：

print(rpart_sens_model)

你会看到输出里的最优模型是基于最高灵敏度选择的，而非默认的ROC。同时在rpart_sens_model$results里可以看到每个cp值对应的各项指标，能直观确认最优行的灵敏度是所有候选中最高的。

注意事项 #

• 确保你的响应变量是因子类型，且分类水平顺序正确（比如正类是第一个水平，避免灵敏度计算错位）。
• 自定义函数里的结果必须命名（比如上面的Sensitivity），否则Caret无法识别对应的指标。
• 如果之前用过默认训练配置，建议清空环境变量或重新定义trainControl，避免缓存参数干扰。

内容的提问来源于stack exchange，提问作者chrisjacques