基于caret包在KNN模型中使用F1分数选择最优k值

我来帮你把这个问题理顺，用F1分数作为评估指标来选KNN的最优k值，基于caret包的话，咱们一步步来：

首先，先把你没写完的F1自定义评估函数补全——caret要求自定义指标函数必须返回包含metric和value的列表，同时要正确处理类别水平：

# 自定义F1分数评估函数
f1 <- function(data, lev = NULL, model = NULL) {
  # 自动识别正类水平（如果lev不为空，默认取第二个水平为正类）
  positive_class <- ifelse(is.null(lev), "pass", lev[2])
  # 计算精度和召回率
  precision <- posPredValue(data$pred, data$obs, positive = positive_class)
  recall <- sensitivity(data$pred, data$obs, positive = positive_class)
  # 计算F1分数，避免出现除以0的异常情况
  f1_score <- ifelse((precision + recall) == 0, 0, 2 * (precision * recall) / (precision + recall))
  # 返回caret要求的格式：列表，包含指标名称和对应值
  list(F1 = f1_score)
}

接下来，咱们用Churn数据集完整演示流程：

步骤1：准备数据 #

先完成数据的基础预处理（假设你已经拿到了数据集文件）：

library(caret)
library(dplyr)

# 加载数据集
churn_data <- read.csv("churndata.csv")

# 把目标变量转成因子（Churn是二分类问题：Yes/No）
churn_data$Churn <- as.factor(churn_data$Churn)

# 处理缺失值（如果数据集存在缺失的话）
churn_data <- na.omit(churn_data)

步骤2：设置训练控制与调参网格 #

我们用10折交叉验证来保证结果稳定性，同时指定要测试的k值范围：

# 设置交叉验证参数
train_control <- trainControl(
  method = "cv",  # 10折交叉验证
  number = 10,
  summaryFunction = f1  # 指定用自定义的F1函数作为评估指标
)

# 设置k值的调参网格（这里测试1到25的奇数k，你可以按需调整范围）
k_grid <- expand.grid(k = seq(1, 25, by = 2))

步骤3：训练KNN模型 #

KNN对数据尺度非常敏感，所以必须做标准化处理：

# 训练模型，以F1分数为优化目标
knn_model <- train(
  Churn ~ .,  # 用所有特征预测Churn
  data = churn_data,
  method = "knn",
  trControl = train_control,
  tuneGrid = k_grid,
  preProcess = c("center", "scale"),  # 对数据做中心化和标准化
  metric = "F1",  # 告诉caret我们要优化的是F1分数
  maximize = TRUE  # F1分数越高越好
)

步骤4：查看最优结果 #

训练完成后，直接打印模型就能看到最优k值和对应的F1分数，也可以可视化不同k值的表现：

# 查看模型的最优参数和评估结果
print(knn_model)

# 可视化不同k值对应的F1分数变化
plot(knn_model)

一些关键注意事项 #

• 正类匹配：如果你的目标变量正类不是"pass"（比如Churn数据里的"Yes"），要确保positive_class的设置和数据一致，否则精度和召回率的计算会出错。
• 调参范围：如果最优k值出现在你设置的范围边界，建议扩大范围继续测试（比如当前设到25，最优k是25，就可以把范围调到40）。
• 不平衡数据：如果你的数据集类别不平衡，建议改用分层交叉验证（method = "repeatedcv"并开启分层），保证每个折的类别分布和整体一致。

内容的提问来源于stack exchange，提问作者Nalhcal