XGBoost超参调优后准确率低于默认模型的原因及解决方法

一、现有操作的错误点排查 #

• 正则化参数搜索范围设置错误：你设置的alpha搜索范围经10^x转换后为0.1~1，直接排除了默认参数中alpha=0的最优取值；gamma上限设为100，过高的gamma会大幅提升剪枝力度，直接导致模型欠拟合，出现训练集、测试集准确率双降的情况。
• 耦合参数搜索逻辑矛盾：eta（学习率）和nrounds（迭代轮数）为强耦合参数，更小的eta需要对应更多的迭代轮数才能收敛，你将二者放在同一空间随机搜索，极易出现小eta搭配少轮数的未收敛组合，效果自然弱于默认参数。
• 交叉验证评估存在偏差：你的训练集仅2138条样本，其中类别2的训练样本只有159条，10折分层拆分后每折验证集的类别2样本不足20条，准确率（acc）评估的波动极大，随机搜索选出的所谓最优参数大概率是验证集波动带来的假优，在全量训练集上训练后效果会大幅回落。

二、mlogloss与acc的搭配合理性 #

该搭配不存在逻辑问题：mlogloss作为损失函数优化的是类别概率预测的准确性，和acc（分类准确率）的目标是高度一致的，不会引发效果下降的问题。

三、优化方法更换的作用 #

更换为贝叶斯优化（如mlrMBO）仅能提升搜索效率，无法从根本上解决你的问题：如果搜索空间本身设置错误，任何搜索方法都找不到优于默认参数的结果。在修正搜索空间后，贝叶斯优化相比随机搜索可以在更少的迭代次数内找到更优的参数组合，推荐调整空间后使用。

四、落地优化步骤 #

• 修正超参数搜索空间：将alpha的搜索范围调整为lower=-5, upper=0（对应0.00001~1），lambda的搜索范围调整为lower=-3, upper=2（对应0.001_{100），`gamma`上限降低到10；固定`nrounds`为1000，搭配早停机制单独调整eta，或将`eta`范围限定在0.01}0.1、nrounds范围调整为200~2000。
• 更换调优评估指标：因数据集存在轻度不平衡，acc会偏向多数类，建议更换为balanced.accuracy或者多分类AUROC作为调优评估指标，更贴合数据集特性。
• 调整交叉验证策略：将10折CV改为5折分层CV，避免小类样本拆分后数量过少导致评估结果失真。

内容的提问来源于stack exchange，提问作者nelepi