相同数据集训练的不同参数XGB模型是否应该集成？如何实现？

是否应该集成同数据集不同参数的XGB模型 #

完全可以集成，且大概率能获得比单个模型更好的预测效果。你手头的几个XGB模型参数差异较大（正则化系数、树深度、学习率、采样比例都有明显区别），意味着各个模型学到的特征规律、误差分布重叠度低，集成后可以有效抵消单模型的随机误差，提升整体泛化能力。

具体集成操作方法 #

1. 算术平均集成（无权重） #

• 操作方式：直接对所有单模型的预测输出取算术平均作为最终结果
• 适用场景：各个单模型的验证得分差距不大（你给出的三个模型得分仅相差0.002，完全符合该场景），不需要额外调参，落地成本最低
• 参考代码：

# models为预训练好的XGBRegressor模型列表，X为待预测特征矩阵
pred_list = [model.predict(X) for model in models]
final_pred = sum(pred_list) / len(pred_list)

2. 加权平均集成 #

• 操作方式：给验证表现更好的模型分配更高的权重，权重可按照验证得分比例、验证集误差倒数设置，也可通过小范围网格搜索搜索最优权重组合
• 参考代码（按验证得分加权示例）：

# 对应三个模型的验证得分
scores = [0.497, 0.496, 0.495]
# 权重归一化
weights = [s/sum(scores) for s in scores]
# 加权计算最终预测结果
final_pred = sum([pred_list[i] * weights[i] for i in range(len(pred_list))])

• 注意：不要给单个模型分配过高权重，避免集成效果退化为单模型效果。

3. 堆叠集成（Stacking） #

• 操作方式：将所有单模型的预测输出作为新特征，训练一个次级模型（比如线性回归、结构简单的XGB小模型）拟合最终目标值
• 适用场景：你有足够的、未参与单模型训练的验证数据用来训练次级模型，通常能获得比平均集成更高的效果增益
• 注意：次级模型不宜太复杂，避免出现过拟合。

注意事项 #

• 集成前可先校验各单模型的预测结果相关性，若两个模型预测结果几乎完全一致，集成不会带来额外增益，反而会增加推理计算量
• 可先过滤掉验证得分明显低于其他模型的劣效模型，避免拉低整体集成效果

内容的提问来源于stack exchange，提问作者Tomward Matthias