H2O AutoML设置preprocessing=["target_encoding"]时如何验证未见数据性能

核心原则：所有目标编码转换必须100%复用训练阶段生成的映射规则，绝对不能在待校验数据上重新拟合编码逻辑，否则会出现数据泄露，得到完全失真的性能测试结果

实操步骤 #

• 训练阶段不要手动拆分预处理和模型逻辑
  当你给AutoML传入preprocessing = ["target_encoding"]参数时，框架会自动用折内交叉验证的方式计算高基分类特征的目标编码值（带平滑项的目标均值），从根源避免全量数据编码带来的泄露问题，这部分编码映射是直接绑定在最终训练好的模型对象里的，你不需要单独导出编码表，训练完成后直接用h2o.save_model()保存完整的模型对象即可。
• 待校验数据不要做任何手动目标编码处理
  把unseen/OOT数据导入为H2OFrame格式后，保留原始分类特征的取值，不要自己写编码逻辑、不要和训练集合并后重算编码、也不要单独在OOT数据上算编码映射，直接把原始H2OFrame传入模型的predict()方法就行。
  模型会自动调用训练阶段留存的编码规则做转换：遇到训练集中没出现过的特征取值，会自动用训练阶段算好的全局目标均值填充，不会出现编码缺失，也不会泄露待校验数据的标签信息。

避坑提醒 #

以下操作会让你的性能校验结果完全失去参考价值：

1. 将训练集和OOT/未见数据拼接后统一做目标编码，再拆分预测，属于典型的目标泄露，测出来的性能会远高于真实水平
2. 单独在OOT/未见数据上计算目标编码替换原始特征，相当于直接把测试集标签信息喂给模型
3. 手动实现目标编码时用全量训练集的目标均值做映射，没有复用AutoML折内交叉拟合生成的带平滑的编码规则，会因为预处理逻辑不匹配导致模型性能异常掉点

一致性校验方法 #

你可以先把未做任何编码转换的原始训练集传入predict()，把输出结果和训练阶段记录的模型在训练集上的预测结果做对比，如果两者完全一致，就说明预处理逻辑是完全对齐训练阶段的，这时候跑出来的OOT/未见数据性能就是真实可信的。

内容的提问来源于stack exchange，提问作者Payal Sengupta