使用RandomizedSearchCV调优XGBoost超参数后性能下降问题咨询

• 评价指标不匹配：你在RandomizedSearchCV中设置的评估指标是neg_mean_absolute_error（负平均绝对误差），但实际验证模型用的是R2分数，两个指标的优化目标不完全对齐，交叉验证阶段MAE最优的模型，不一定对应测试集R2最优。
• 搜索空间设置错误：你将gbtree（树模型）和gblinear（线性模型）两类完全不同的booster的超参混在同一个搜索空间中。gblinear作为线性booster，根本不识别max_depth、min_child_weight等树模型专属参数，传这些无效参数就是你收到下方警告的直接原因：

This may not be accurate due to some parameters are only used in language bindings but passed down to XGBoost core. Or some parameters are not used but slip through this verification. Please open an issue if you find above cases.
且仅50次的搜索迭代量太小，大概率没能抽到gbtree的最优参数组合，反而gblinear在交叉验证的MAE指标下得分更高被选为最优，但其本身拟合能力有限、无正则化（你选到的最优参数reg_alpha和reg_lambda都为0），泛化到测试集后R2大幅下降。

• 交叉验证拆分不合理：如果你的速度预测是时序相关场景，用随机拆分的5折交叉验证会存在数据泄露，得到的交叉验证得分虚高，选出的模型泛化能力自然很差。

• 拆分搜索空间：优先固定booster为gbtree（你实测效果远好于线性模型），不再混入gblinear的搜索，直接移除无效参数即可消除警告。如果一定要对比两类booster，要做条件搜索：booster为gbtree时加入树相关参数，booster为gblinear时仅搜索线性模型专属的正则化参数（reg_alpha、reg_lambda、lambda_bias等）。
• 统一评估指标：将RandomizedSearchCV的scoring参数改为r2，和你实际的评估目标对齐，保证选出的模型是针对R2优化的。
• 缩小搜索范围、分层调优：不要一次性设置过大的参数范围，可按优先级分层调参：先调max_depth、min_child_weight这类影响模型结构的参数，再调learning_rate和n_estimators（一般学习率越小，需要的树数量越多，两者联动调整），最后调正则化参数reg_alpha、reg_lambda、subsample、colsample_bytree降低过拟合风险，max_depth建议最高设为10即可，15的深度极容易过拟合。
• 适配数据场景的交叉验证：如果是时序数据，替换随机CV为TimeSeriesSplit时序拆分交叉验证，避免数据泄露，提升交叉验证得分的可信度。
• 优化搜索效率：先做少量迭代的随机搜索确定参数的合理区间，再用贝叶斯优化工具在小区间内精细化搜索，比固定50次随机搜索的效率和效果都好很多。

内容的提问来源于stack exchange，提问作者Francisco Colina