H2O模型交叉验证指标差异原因及报告指标选择咨询

我来帮你理清这个H2O里的指标差异问题，其实核心是两种不同的交叉验证指标计算逻辑在搞鬼～

为什么会出现指标差异？ #

你看到的两个结果不一样，本质是H2O计算交叉验证指标的两种方式完全不同：

• 折间指标均值（对应model$cross_validation_metrics_summary）
  当你设置nfolds=5时，模型会把训练数据拆成5份，每次用4份训练、1份验证。对每一份验证集单独算出logloss，最后把这5个logloss取算术平均，就是你在cross_validation_metrics_summary里看到的mean列数值。

• 合并验证集整体指标（对应model$cross_validation_metrics）
  这种方式是把5折的所有验证数据合并成一个大集合，然后用每折训练出的模型对对应折的验证数据做预测，最后在整个合并后的数据集上计算logloss——简单说就是先把所有验证数据凑到一起，再统一算指标。

这两种逻辑的差异，会导致最终logloss结果不同，尤其是当各折样本分布不均、或者模型在不同折上的表现波动大时，差异会更明显。

而你在h2o.grid里看到的排序指标（比如用sort_by='logloss'得到的数值），默认用的就是折间均值，这也是它和model$cross_validation_metrics结果不一样的原因。

应该报告哪一个指标？ #

这得看你的需求，但行业里通常有这些共识：

• 如果你想体现模型在不同数据子集上的稳定性，优先报告cross_validation_metrics_summary里的均值（最好再附上标准差，能看出模型表现的波动情况），因为它直接反映了模型在不同折上的平均水平，更能体现泛化能力的稳定性。
• 如果你更关注模型在整体 unseen 数据上的表现，可以用cross_validation_metrics的结果，但要注意这种方式会受样本分布影响——比如某折样本量特别大，结果会偏向这折的表现。

不过大多数机器学习场景里，折间均值（cross_validation_metrics_summary的mean值）是更常用、更可靠的选择，它也是H2O网格搜索默认用来排序模型的依据。

用你的代码验证一下 #

你可以运行自己的代码来确认这一点：

library(mlbench) 
library(h2o)
data(Sonar)

h2o.init() 
Sonarhex <- as.h2o(Sonar) 
h2o.grid("gbm", grid_id = "gbm_grid_id0", x = c(1:50), y = 'Class',
         training_frame = Sonarhex, hyper_params = list(ntrees = 50, learn_rate = c(.1, .2, .3)), nfolds = 5, seed=1234)

grid <- h2o.getGrid("gbm_grid_id0", sort_by = 'logloss')

first_model = h2o.getModel(grid@model_ids[[1]]) 
# 查看折间均值的logloss
first_model@model$cross_validation_metrics_summary
# 查看合并验证集的logloss
first_model@model$cross_validation_metrics

运行后你会发现：

• cross_validation_metrics_summary里的logloss均值，和网格grid的summary_table里对应模型的logloss值完全一致；
• 而cross_validation_metrics返回的logloss是合并所有验证数据后的结果，和前者存在明显差异。

内容的提问来源于stack exchange，提问作者runningbirds