不同Python环境下训练的XGBClassifier模型预测差异原因排查

环境与现象概述 #

旧环境 #

• python=3.6.0
• scikit-learn==0.22.2.post1
• xgboost==0.90
• numpy==1.18.1

新环境 #

• python=3.11.9
• scikit-learn==1.4.2
• xgboost==2.0.3
• numpy==1.26.4

核心现象 #

• 相同超参数+数据集训练，预测概率存在显著差异
• 拟合后Pipeline大小：30 MB（旧）vs 7 MB（新）
• 训练时长：4小时38分46秒（旧）vs 6分钟40秒（新）

核心训练代码 #

def create_pipeline(model_params, cat_indices):
    """
    Create a pipeline
    :param model_params: model parameters for the XGBoost Classifier in the pipeline
    :param cat_indices: indices for the categorical features in X
    """

    cat_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
                                      ('one_hot_encoder', OneHotEncoder(handle_unknown='ignore'))])

    preprocessor = ColumnTransformer(
        transformers=[('cat', cat_transformer, cat_indices)],
        remainder='passthrough')

    xgb = XGBClassifier(objective="binary:logistic", eval_metric="auc", missing=np.nan, use_label_encoder=False)
    xgb.set_params(**model_params)

    full_pipeline_model = Pipeline(steps=[('preprocessor', preprocessor),
                                          ('model', xgb)])
    return full_pipeline_model


model_params = {
    'n_estimators': 500,
    'alpha': 9.73974803929248e-06,
    'gamma': 19,
    'lambda': 0.557185777864069,
    'learning_rate': 0.029438952461179668,
    'max_depth': 13,
    'scale_pos_weight': 5,
    'subsample': 0.687206238714661
  }

cat_indices = [X.columns.get_loc(col) for col in cat_cols]

fitted_pipeline = create_pipeline(model_params, cat_indices).fit(X.values, y.values)
pickle.dump(fitted_pipeline, open("fitted_pipeline_final1.pkl", "wb"))

可能的原因分析 #

1. XGBoost版本迭代带来的算法与随机行为变更 #

XGBoost从0.90到2.0.3经历了大量底层优化与行为调整：

• 随机种子与抽样一致性：你的训练参数中未指定random_state，而XGBoost不同版本的默认随机数生成器实现存在差异。由于设置了subsample=0.687（每棵树训练时随机抽样样本），随机数的变化会直接导致每棵树的结构、分裂点选择完全不同，最终预测概率出现显著差异。
• 核心算法优化：新版本XGBoost默认启用了更多优化（如默认tree_method从exact改为auto，会根据数据规模自动选择近似算法），即使显式指定超参数，底层分裂逻辑、正则化计算的细节也可能有调整，影响模型最终输出。
• 缺失值处理逻辑：XGBoost对缺失值的分裂处理逻辑在版本迭代中可能有微调，这会影响树的生长路径，进而改变预测结果。

2. Scikit-learn预处理组件的行为变化 #

Scikit-learn从0.22到1.4.2的预处理模块有多处行为变更，会影响输入到XGBoost的特征矩阵：

• OneHotEncoder行为差异：handle_unknown='ignore'的逻辑在旧版本与新版本中不同——旧版本可能对未知类别对应的整个特征列进行忽略，而新版本仅将该类别对应的独热编码列置0，这会导致输入模型的特征维度或取值分布发生变化。
• ColumnTransformer特征顺序：remainder='passthrough'的特征拼接顺序，在不同版本的ColumnTransformer中若未严格保持原始特征顺序，会导致XGBoost接收到的特征对应关系错乱，直接导致预测结果差异。
• 序列化优化：新版本Scikit-learn对Pipeline、OneHotEncoder等组件的序列化进行了精简（比如不再存储冗余的类别元数据），这是拟合后模型体积大幅缩小的主要原因，但如果预处理组件的内部存储结构变化，也可能间接影响特征处理结果。

3. 数值计算栈的精度与并行差异 #

• Numpy与Python版本的数值精度：Numpy从1.18到1.26对浮点数计算的精度、底层实现有调整，Python 3.6到3.11的内置数值运算逻辑也有优化，这些细微的精度差异在XGBoost的迭代训练中会被逐步放大，最终导致预测概率的偏差。
• 并行训练的行为变化：新版本XGBoost与Scikit-learn默认启用了更高效的并行计算（比如多线程、GPU加速支持），并行计算的顺序差异可能导致模型训练过程中的中间结果不同，进而影响最终模型的权重与输出。

4. 超参数的隐式默认值变更 #

即使你显式指定了部分超参数，XGBoost的其他默认超参数在版本迭代中可能发生变化：

• 比如0.90版本的XGBoost默认n_jobs=1，而新版本默认n_jobs=-1（使用全部CPU核心），并行训练的线程数变化不仅会大幅缩短训练时间，也可能因并行计算的随机性导致模型结果不同；
• 其他如grow_policy、min_child_weight等默认参数的变化，也会间接影响树的生长结构。

内容的提问来源于stack exchange，提问作者Feng Zhao