H2O变量重要性计算基于训练集还是验证集？能否基于测试集计算？

问题 #

我确认h2o.varimp不会基于训练集或验证集以外的数据，因为测试数据从未被输入模型。查阅H2O官方文档中关于变量重要性的内容后，未找到其计算基准，请问它是基于训练集还是验证集？是否支持基于测试集计算变量重要性？

解答 #

• h2o.varimp()默认基于训练集计算变量重要性。如果模型训练时指定了验证集，部分算法（如GBM、XGBoost）可通过调整参数切换为使用验证集计算，但默认逻辑仍以训练集为基准。
• H2O没有直接通过h2o.varimp()计算测试集变量重要性的原生支持，但可以通过置换重要性间接实现：使用h2o.permutation_importance()函数，指定测试集作为评估数据集，即可得到基于测试集的变量重要性结果。

内容的提问来源于stack exchange，提问作者Matthew Son