如何在交叉验证各折中统一控制XGBoost的n_estimators参数

该现象属于正常情况：不同折的训练集、验证集分布存在天然差异，早停触发的迭代轮次自然会出现区别，不属于代码实现错误。以下是三种常用的处理方案：

• 方案一：取多折最优轮次的统计量作为全局固定n_estimators
  计算所有折的最优迭代轮次的中位数或均值（向上取整），用该固定值作为最终的n_estimators参数，关闭早停后在全量训练集上重新训练模型。该方案鲁棒性最高，可避免单折的异常波动影响最终参数。例如5折交叉验证得到的最优轮次为30、62、75、98、100时，取中位数75作为最终n_estimators即可。
• 方案二：早停仅作为单折收敛手段，最优参数确定后再跑全局早停
  如果交叉验证的目的是调优learning_rate、max_depth、subsample等其他超参数，不需要纠结单折n_estimators的差异：每组超参数的交叉验证得分直接取所有折早停后的验证得分平均值，得分最高的即为最优超参数组合。确定最优组合后，再用该组参数在全量训练集+独立验证集上跑一次早停，得到最终的n_estimators和上线模型，该方案的落地性能表现最贴近实际效果。
• 方案三：多模型融合
  直接保留每个折训练得到的独立模型，推理时对多个模型的预测结果取平均值。该方案自带集成效果，通常精度比单模型更高，但推理耗时会随折数成倍数增加，适合对推理速度要求不高的场景。

• 交叉验证过程中，各折的验证集不可与最终测试集有重叠，否则会造成数据泄露，导致模型性能评估虚高。
• 若使用sklearn风格的XGBoost接口，单折训练结束后可直接通过model.best_iteration属性获取该折的最优迭代轮次，无需手动统计。

内容的提问来源于stack exchange，提问作者Matheus Araújo Marins