You need to enable JavaScript to run this app. 如何在R语言分组嵌套线性建模流程中按组等比例拆分训练测试集
优惠活动
大模型
产品
解决方案
定价
更多

如何在R语言分组嵌套线性建模流程中按组等比例拆分训练测试集

分层拆分的正确插入位置与实现方案

核心逻辑

你需要把拆分操作插入到分组嵌套完成、模型训练启动前的节点,且拆分动作必须下沉到每个分组对应的内部数据块中,不能在全数据集层面拆分后再分组——这是避免组间训练占比失衡的核心:

  • 全数据集层面随机拆分后再分组,会因为抽样随机波动,出现不同分组的训练集占比偏离75%的问题(也就是你担心的某组60%、某组80%的失衡情况)
  • 对每个分组的内部数据独立执行75%抽样,相当于给每个物种单独按固定比例拆训练/测试集,从机制上保证所有组的拆分比例完全一致,比如iris每个物种50条样本,拆分后每组训练集样本数偏差不会超过1个,占比稳定在75%上下

可直接复用的实现代码

首先固定随机种子保证结果可复现,顺着你原有tidyverse+map的编码风格写,不需要额外引入复杂依赖:

library(tidyverse)
library(broom)

# 固定随机种子,抽样结果可复现
set.seed(123)

# 第一步:按物种分组嵌套(和你原逻辑完全一致)
df <- iris %>% 
  group_by(Species) %>% 
  nest() 

# 【拆分操作就插在这里】
df_split <- df %>% 
  mutate(
    # 对每个分组的独立数据块,抽75%作为训练集
    train = map(data, ~.x %>% slice_sample(prop = 0.75)),
    # 用差集逻辑提取每个组剩下的25%作为测试集
    test = map2(data, train, ~anti_join(.x, .y, by = colnames(.x)))
  )

# 第二步:基于拆分后的训练集建模(替换你原来直接用全数据建模的逻辑)
df_model <- df_split %>% 
  mutate(
    # 用每个组的训练集拟合Sepal.Length ~ Sepal.Width模型(和你原公式一致)
    model = map(train, ~lm(formula = Sepal.Length ~ Sepal.Width, data = .x)),
    # 提取训练集的调整R方(和你原循环里的计算逻辑完全匹配)
    train_adj_r2 = map_dbl(model, ~glance(.x)$adj.r.squared),
    # 计算测试集的真实预测效果
    test_pred = map2(model, test, ~predict(.x, newdata = .y)),
    test_rmse = map2_dbl(test, test_pred, ~sqrt(mean((.x$Sepal.Length - .y)^2)))
  )

拆分效果校验

拆分完成后可以直接校验每个组的拆分比例,确认没有失衡:

# 查看每个组的训练、测试样本数
df_split %>% 
  mutate(
    train_n = map_dbl(train, nrow),
    test_n = map_dbl(test, nrow),
    split_ratio = round(train_n / (train_n + test_n), 2)
  ) %>% 
  select(Species, train_n, test_n, split_ratio)

输出结果会显示三个物种的拆分比例全部稳定在0.75左右,完全不会出现跨组抽样带来的比例偏差。

适配你原有循环逻辑

你原本写的遍历取指标的循环完全不需要大改,拆完模型后可以直接取值:

final <- vector("numeric", nrow(df_model))
for(i in seq_along(df_model$model)){
  # 取训练集调整R方(和你原逻辑一致)
  final[i] <- df_model$train_adj_r2[i]
  # 额外可以直接取测试集评估效果,不需要额外修改数据结构
  cat(df_model$Species[i], "训练集adj.R2:", df_model$train_adj_r2[i], 
      "测试集RMSE:", df_model$test_rmse[i], "\n")
}

常见坑提醒

  • 不要在全数据集层面执行slice_sample(prop = 0.75)之后再按Species分组,这种流程本质是随机拆分,分层占比会受抽样波动影响,很容易出现你担心的组间比例失衡
  • 拆分时一定要固定随机种子,否则每次跑代码的抽样结果不一样,模型评估结果没有可重复性

内容的提问来源于stack exchange,提问作者Ivan Cereghetti

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 17:54:04