不同版本XGBoost运行同一回归模型出现结果差异与告警问题求助

根因说明 #

你遇到的告警、跨版本效果差异全部来自XGBoost 1.0版本后的接口不兼容变更，核心问题有3个：

• 废弃参数未清理：silent参数从1.0版本开始完全废弃，替换为verbosity参数（取值0~3，对应不同日志级别）；verbose不属于XGBoost内核训练参数，仅作为cv/sklearn接口的独立入参使用，放在params中会被高版本参数校验逻辑拦截，触发告警。
• sklearn接口参数传参错误：从XGBoost 1.3版本开始，early_stopping_rounds不能作为XGBRegressor构造函数的入参，必须放到fit()方法中，且需要同时传入eval_set才会触发早停逻辑；原生接口的num_boost_round对应sklearn接口的n_estimators参数，你直接传入num_boost_round会被完全忽略，模型默认用100轮迭代训练，是效果大幅下降的核心原因。
• 随机性未对齐：高版本默认开启标签编码、随机种子默认值变更，也会导致训练结果和低版本存在差异。

修复步骤 #

1. 清理并修正超参数列表 #

删除params中的废弃、无效参数，替换为高版本兼容的配置：

params = {
    'max_depth': 6,
    'min_child_weight': 1,
    'learning_rate': 0.3,
    'subsample': 1,
    'colsample_bytree': 1,
    'objective': 'reg:squarederror',
    'eval_metric': 'rmse',
    'booster': 'gbtree',
    'nthread': -1,
    'alpha': 0.2,
    'lambda': 0.001,
    'colsample_bylevel': 0.9,
    'gamma': 0.01,
    'max_delta_step': 0.1,
    'verbosity': 0, # 替换原silent、verbose参数
    'use_label_encoder': False, # 关闭高版本默认标签编码，对齐低版本逻辑
    'random_state': 42 # 固定随机种子，消除随机性差异
}

2. 修正XGBRegressor训练逻辑 #

将早停参数移到fit方法中，补充验证集配置，替换迭代次数参数：

print('Fitting the model')
# 构造函数传入超参数和迭代次数（对应原num_boost_round）
best_model = XGBRegressor(**params, n_estimators=999)
# fit方法传入早停规则与验证集
best_model.fit(
    X_trainnum, 
    y_train,
    eval_set=[(X_testnum, y_test)],
    early_stopping_rounds=10,
    verbose=False
)

3. 验证效果 #

修改完成后所有参数未生效告警会完全消失，高版本训练逻辑与0.9版本完全对齐，效果差异会缩小到可接受的随机误差范围内。

内容的提问来源于stack exchange，提问作者Alirezaro93