基于R语言ranger库的交叉验证：性能评估与参数调优

原始模型 #

用户构建的Ranger回归模型如下：

X <- train_df[, -1]
y <- train_df$Price

rf_model <- ranger(Price ~ ., data = train_df, mtry = 11, splitrule = "extratrees", min.node.size = 1, num.trees = 100)

需求任务 #

1. 通过无交集数据集的交叉验证获取稳定的平均性能指标，消除种子值变化对精度的影响；
2. 搭建交叉验证框架，寻找最优的mtry与num.trees参数组合。

现有问题 #

用户已实现对mtry、splitrule、min.node.size的调优，但在参数网格中加入num.trees时会报错。现有调优代码：

# 定义待搜索的参数网格
param_grid <- expand.grid(mtry = c(1:ncol(X)),
                          splitrule = c("variance", "extratrees", "maxstat"),
                          min.node.size = c(1, 5, 10))

# 设置交叉验证方案
cv_scheme <- trainControl(method = "cv",
                          number = 5,
                          verboseIter = TRUE)

# 使用caret执行网格搜索
rf_model <- train(x = X,
                  y = y,
                  method = "ranger",
                  trControl = cv_scheme,
                  tuneGrid = param_grid)

# 查看最优参数值
rf_model$bestTune

解决方案 #

一、获取稳定的交叉验证性能指标 #

为消除种子波动影响，建议使用重复K折交叉验证，同时固定全局种子确保结果可复现：

# 设置全局种子，保证结果可复现
set.seed(123)

# 定义重复5折交叉验证方案（重复3次）
cv_scheme <- trainControl(
  method = "repeatedcv",
  number = 5,
  repeats = 3,
  verboseIter = TRUE
)

# 训练模型并获取稳定性能
rf_stable <- train(
  x = X,
  y = y,
  method = "ranger",
  trControl = cv_scheme,
  # 使用原始模型参数，或先固定参数验证稳定性
  mtry = 11,
  splitrule = "extratrees",
  min.node.size = 1,
  num.trees = 100,
  metric = "RMSE" # 回归问题选择合适的性能指标，如RMSE、MAE
)

# 查看平均性能指标
print(rf_stable$results)

重复交叉验证会多次划分数据集并取平均，结果比单次K折更稳定；固定种子则确保每次运行的数据集划分一致，彻底消除种子变化的影响。

二、调优mtry与num.trees的最优组合 #

由于caret的ranger默认不将num.trees列为调优参数，直接加入参数网格会报错。以下提供两种可行方案：

方案1：遍历num.trees，每个值下调优mtry

set.seed(123)

# 定义要测试的num.trees候选值
num_trees_candidates <- c(50, 100, 200, 300)
# 定义mtry的候选值
mtry_candidates <- c(1:ncol(X))

# 存储每个组合的性能结果
results <- data.frame()

# 遍历每个num.trees值
for (nt in num_trees_candidates) {
  # 定义仅包含mtry的参数网格
  param_grid <- expand.grid(mtry = mtry_candidates,
                            splitrule = "extratrees", # 固定splitrule（或按需加入）
                            min.node.size = 1) # 固定min.node.size（或按需加入）
  
  # 训练模型
  rf_tune <- train(
    x = X,
    y = y,
    method = "ranger",
    trControl = cv_scheme, # 使用之前定义的重复交叉验证方案
    tuneGrid = param_grid,
    num.trees = nt,
    metric = "RMSE"
  )
  
  # 提取最优结果并加入总结果
  best_result <- rf_tune$results[rf_tune$results$mtry == rf_tune$bestTune$mtry, ]
  best_result$num.trees <- nt
  results <- rbind(results, best_result)
}

# 查看最优的num.trees与mtry组合
results[which.min(results$RMSE), ]

方案2：修改caret的调优参数，直接加入num.trees

如果希望用统一的网格搜索，可通过修改caret的模型参数设置，将num.trees纳入调优：

set.seed(123)

# 定义包含num.trees的完整参数网格
param_grid <- expand.grid(
  mtry = c(1:ncol(X)),
  splitrule = c("extratrees"), # 可按需扩展
  min.node.size = c(1), # 可按需扩展
  num.trees = c(50, 100, 200)
)

# 自定义ranger模型的调优参数
ranger_custom <- getModelInfo("ranger")[[1]]
# 将num.trees加入调优参数列表
ranger_custom$parameters <- rbind(ranger_custom$parameters, data.frame(parameter = "num.trees", class = "numeric", label = "Number of Trees"))

# 使用自定义模型进行网格搜索
rf_tune <- train(
  x = X,
  y = y,
  method = ranger_custom,
  trControl = cv_scheme,
  tuneGrid = param_grid,
  metric = "RMSE"
)

# 查看最优参数组合
print(rf_tune$bestTune)

关键说明 #

• 回归问题中，caret默认使用RMSE作为性能指标，可通过metric参数指定为MAE等其他指标；
• 重复交叉验证的repeats次数可根据需求调整，次数越多结果越稳定，但计算耗时也会增加；
• 若数据集较大，建议开启并行计算（在trainControl中设置allowParallel = TRUE），加快调优速度。

内容的提问来源于stack exchange，提问作者Cindy Burker