You need to enable JavaScript to run this app. mlr3嵌套重采样聚合性能结果的解读与相关疑问
优惠活动
大模型
产品
解决方案
定价
更多

mlr3嵌套重采样聚合性能结果的解读与相关疑问

mlr3嵌套重采样常见疑问解答

关于聚合结果计算逻辑的误解

  • 数值不匹配的核心原因是混淆了两类完全不同的性能指标:
    • 存放在x$tuning_result中的classif.auc,是内部重采样调参流程里,候选超参数组合在内部验证折上的验证性能,仅用于给调参器筛选最优超参数,不属于外部测试集的评估结果。
    • rr$aggregate()计算的是所有外部折上,经内部调参得到的最终模型,在对应折的专属外部测试集上的预测性能聚合值,和内部调参阶段的验证性能没有直接等同关系。
  • 可通过调用rr$score(msr("classif.auc"))获取每个外部折的真实测试性能值,这组值的聚合结果与rr$aggregate()完全一致。
  • 聚合规则需注意两个细节:
    • 默认聚合逻辑不是简单等权平均,而是按每个外部测试折的样本量加权计算性能均值;如果各折样本数不完全均等,直接等权手动计算会和结果存在微小偏差。
    • 手动计算时拿错了数据源:把内部调参的验证性能当成了外部折的测试性能,自然会和最终聚合结果出现明显数值差。

关于嵌套重采样无偏性能的解读

  • 三个外部折选出的最优超参数不完全一致是嵌套重采样下的正常现象:每个外部折的内部训练集是整体数据的不同子集,样本分布的差异自然会导致适配该子集的最优超参数存在波动,流程本身不要求所有折必须选出完全一致的超参数。
  • 最终得到的聚合性能,不是针对某一组固定超参数训练的模型的性能评估,而是针对整套“在训练集上自动选择最优超参数、再训练模型”的完整机器学习工作流的泛化性能。
  • 这个估计值的无偏性来源于信息隔离:每个外部折的测试集从始至终没有参与过超参数选择流程,不存在因测试信息泄漏导致的性能高估。它反映的是,当你把这套自动调参的工作流应用到同分布的全新未见过的数据集上时,能预期获得的平均性能水平。
  • 直白来说:嵌套重采样评估的不是“某一个固定超参数训练的模型的能力”,而是“每次根据手头数据自动选模型、训模型”这套操作的平均可靠程度。

内容的提问来源于stack exchange,提问作者Kim.L

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 01:45:02