如何在R语言分组嵌套线性建模流程中按组等比例拆分训练测试集
分层拆分的正确插入位置与实现方案
核心逻辑
你需要把拆分操作插入到分组嵌套完成、模型训练启动前的节点,且拆分动作必须下沉到每个分组对应的内部数据块中,不能在全数据集层面拆分后再分组——这是避免组间训练占比失衡的核心:
- 全数据集层面随机拆分后再分组,会因为抽样随机波动,出现不同分组的训练集占比偏离75%的问题(也就是你担心的某组60%、某组80%的失衡情况)
- 对每个分组的内部数据独立执行75%抽样,相当于给每个物种单独按固定比例拆训练/测试集,从机制上保证所有组的拆分比例完全一致,比如iris每个物种50条样本,拆分后每组训练集样本数偏差不会超过1个,占比稳定在75%上下
可直接复用的实现代码
首先固定随机种子保证结果可复现,顺着你原有tidyverse+map的编码风格写,不需要额外引入复杂依赖:
library(tidyverse) library(broom) # 固定随机种子,抽样结果可复现 set.seed(123) # 第一步:按物种分组嵌套(和你原逻辑完全一致) df <- iris %>% group_by(Species) %>% nest() # 【拆分操作就插在这里】 df_split <- df %>% mutate( # 对每个分组的独立数据块,抽75%作为训练集 train = map(data, ~.x %>% slice_sample(prop = 0.75)), # 用差集逻辑提取每个组剩下的25%作为测试集 test = map2(data, train, ~anti_join(.x, .y, by = colnames(.x))) ) # 第二步:基于拆分后的训练集建模(替换你原来直接用全数据建模的逻辑) df_model <- df_split %>% mutate( # 用每个组的训练集拟合Sepal.Length ~ Sepal.Width模型(和你原公式一致) model = map(train, ~lm(formula = Sepal.Length ~ Sepal.Width, data = .x)), # 提取训练集的调整R方(和你原循环里的计算逻辑完全匹配) train_adj_r2 = map_dbl(model, ~glance(.x)$adj.r.squared), # 计算测试集的真实预测效果 test_pred = map2(model, test, ~predict(.x, newdata = .y)), test_rmse = map2_dbl(test, test_pred, ~sqrt(mean((.x$Sepal.Length - .y)^2))) )
拆分效果校验
拆分完成后可以直接校验每个组的拆分比例,确认没有失衡:
# 查看每个组的训练、测试样本数 df_split %>% mutate( train_n = map_dbl(train, nrow), test_n = map_dbl(test, nrow), split_ratio = round(train_n / (train_n + test_n), 2) ) %>% select(Species, train_n, test_n, split_ratio)
输出结果会显示三个物种的拆分比例全部稳定在0.75左右,完全不会出现跨组抽样带来的比例偏差。
适配你原有循环逻辑
你原本写的遍历取指标的循环完全不需要大改,拆完模型后可以直接取值:
final <- vector("numeric", nrow(df_model)) for(i in seq_along(df_model$model)){ # 取训练集调整R方(和你原逻辑一致) final[i] <- df_model$train_adj_r2[i] # 额外可以直接取测试集评估效果,不需要额外修改数据结构 cat(df_model$Species[i], "训练集adj.R2:", df_model$train_adj_r2[i], "测试集RMSE:", df_model$test_rmse[i], "\n") }
常见坑提醒
- 不要在全数据集层面执行
slice_sample(prop = 0.75)之后再按Species分组,这种流程本质是随机拆分,分层占比会受抽样波动影响,很容易出现你担心的组间比例失衡 - 拆分时一定要固定随机种子,否则每次跑代码的抽样结果不一样,模型评估结果没有可重复性
内容的提问来源于stack exchange,提问作者Ivan Cereghetti
相关产品推荐
相关产品推荐

