如何在R中基于测试数据预测性能实现向后变量选择？

要实现基于测试集预测性能的逐步变量移除，核心思路是从全变量模型开始，每次尝试移除一个变量后重新训练模型，计算测试集上的性能指标，保留性能最优的变量组合，重复这个过程直到达到预设的停止条件。下面以线性回归模型为例，用测试集MSE作为性能指标，给出具体实现步骤：

1. 数据准备与初始化 #

首先拆分训练集和测试集，初始化变量列表并设置随机种子保证结果可复现：

library(caret)

# 用mtcars数据集做示例，目标变量为mpg
data(mtcars)
train_idx <- createDataPartition(mtcars$mpg, p = 0.7, list = FALSE, seed = 123)
train_data <- mtcars[train_idx, ]
test_data <- mtcars[-train_idx, ]

# 初始变量列表：所有特征列
current_vars <- setdiff(colnames(mtcars), "mpg")
# 记录每一步的性能和变量组合
perf_history <- data.frame(step = 0, mse = NA, vars = paste(current_vars, collapse = ", "))

2. 定义性能评估函数 #

根据你的模型类型（回归/分类）定义测试集性能计算函数，这里以线性回归的MSE为例：

# 计算测试集MSE的函数
get_test_mse <- function(vars, train, test) {
  model_formula <- as.formula(paste("mpg ~", paste(vars, collapse = " + ")))
  model <- lm(model_formula, data = train)
  test_preds <- predict(model, newdata = test)
  mean((test$mpg - test_preds)^2)
}

# 计算初始全变量模型的MSE
perf_history$mse[1] <- get_test_mse(current_vars, train_data, test_data)

3. 逐步变量移除循环 #

循环遍历当前变量，每次移除一个变量后计算性能，选择性能最优的组合，直到停止条件触发：

while(length(current_vars) > 1) {
  # 存储每个变量移除后的MSE
  mse_results <- sapply(current_vars, function(var) {
    temp_vars <- current_vars[current_vars != var]
    get_test_mse(temp_vars, train_data, test_data)
  })
  
  # 找到MSE最小的变量（即移除后性能最优的）
  best_var_idx <- which.min(mse_results)
  best_mse <- mse_results[best_var_idx]
  removed_var <- names(best_var_idx)
  
  # 记录当前步骤的结果
  new_step <- data.frame(
    step = nrow(perf_history),
    mse = best_mse,
    vars = paste(current_vars[-best_var_idx], collapse = ", ")
  )
  perf_history <- rbind(perf_history, new_step)
  
  # 停止条件：如果当前MSE比上一步高，说明性能下降，停止并回退
  if(best_mse > perf_history$mse[nrow(perf_history)-1]) {
    message("测试集性能下降，终止变量移除")
    perf_history <- perf_history[-nrow(perf_history), ]
    current_vars <- c(current_vars[-best_var_idx], removed_var)
    break
  }
  
  # 更新当前变量列表
  current_vars <- current_vars[-best_var_idx]
}

# 查看所有步骤的性能变化
print(perf_history)
# 输出最终选择的变量组合
cat("最终最优变量组合：", perf_history$vars[nrow(perf_history)], "\n")

关键调整与扩展 #

• 分类模型适配：如果是分类任务，只需替换性能评估函数。比如逻辑回归用准确率：

  get_test_acc <- function(vars, train, test) {
    model_formula <- as.formula(paste("vs ~", paste(vars, collapse = " + ")))
    model <- glm(model_formula, data = train, family = binomial)
    test_preds <- predict(model, newdata = test, type = "response") > 0.5
    mean(test_preds == test$vs)
  }
  

  此时循环中要找准确率最高的变量组合，即which.max(acc_results)（注意变量名要对应修改）。
• 停止条件自定义：除了性能下降，还可以设置最小变量数量（比如length(current_vars) > 3），或者连续2步性能无提升则停止。
• 模型扩展：该逻辑适用于任何支持predict接口的模型（如随机森林、XGBoost），只需替换lm或glm的训练代码即可。

内容的提问来源于stack exchange，提问作者Joshua_ABC