H2O AutoML堆叠集成学习器收敛历史追踪方法咨询

看起来你遇到的这个性能反转问题确实值得深究——堆叠集成的收敛逻辑比单一模型或简单集成复杂得多，毕竟它是分层训练的，基模型和元模型的训练节奏都可能影响最终结果。下面是几个实用的方法来追踪它的收敛历史，判断稳定性：

• 分层记录训练进度与性能
  堆叠集成核心是基模型层+元模型层，你得把监控拆到每一层：

  • 对每个基模型，定期（比如每训练一轮、每间隔固定时长）记录它在验证集上的核心指标（比如分类任务的准确率、回归任务的RMSE），以及累计训练耗时。
  • 元模型这边同样操作，记录它拟合基模型输出特征时的验证性能变化。
    这样你就能定位：是基模型的收敛波动导致的反转，还是元模型后期训练调整拉反了整体分数。

• 保存集成策略的演化快照
  如果你的堆叠集成用到了动态权重（比如加权投票型堆叠），或者元模型的参数会随训练调整，那定期保存这些权重/参数快照（比如每300秒存一次）很关键。
  事后对比不同时间点的快照：比如3600秒时全特征模型的基模型权重普遍更高，到5000秒时元模型把特征子集模型的基模型权重调得更优——这能直接说明集成策略的变化是性能反转的核心原因。

• 给每一层加独立的早停监控
  你可以在现有并行实现基础上，给堆叠的每一层单独设置早停机制，同时记录每一层触发早停的时间点。比如基模型层提前收敛了，但元模型还在持续训练，后期可能过度拟合基模型的噪声，反而让特征子集的组合效果反超。
  每个层级的监控可以复用你现有的并行监控逻辑，只要处理好层间依赖（比如基模型都训练完才启动元模型监控）就行。

• 绘制时间-性能趋势曲线
  把两个模型在不同时间点的整体性能（比如最终预测的验证集分数）做成曲线，再叠加每一层的性能曲线。比如你会看到3600秒时全特征的基模型层性能都领先，但5000秒时特征子集的元模型层性能突然提升，直接拉反了整体分数。
  这种可视化一眼就能看出收敛稳定性：如果曲线后期波动大，说明集成还没稳定；如果逐渐平缓，那性能反转可能是正常的收敛结果而非问题。

• 用独立测试集验证泛化能力
  别只盯着训练/验证集，定期用独立测试集评估当前状态的堆叠模型。有时候验证集上的反转可能是过拟合，但如果测试集上趋势一致，那说明特征子集模型的集成确实需要更长时间才能收敛到最优状态。

内容的提问来源于stack exchange，提问作者EngrStudent