预训练XGBoost模型从文件加载后无法复现结果求助

在Google Colab中使用XGBoost 1.6.0版本的XGBoostClassifier构建简单二分类模型，将模型保存至文件以便后续使用。同一会话内，从文件加载的模型在验证集上能良好复现结果，但会话结束重新连接Colab后，加载同一文件的模型在同一验证集上表现极差，需重新训练才能复现结果。

尝试了三种模型保存与加载方式，结果一致：

• 原生方式：

xgb_model.save_model('xgb_native_save.model')

• joblib方式：

joblib.dump(xgb_model, 'xgb_joblib.model')

• pickle方式：

with open('xgb_pickle.pkl','wb') as f:
    pickle.dump(xgb_model,f)

已固定random_state，请问问题可能出在哪里？

可能的原因及解决办法 #

1. 特征预处理未固化 #

如果训练模型前对数据做了标准化/归一化、编码（比如LabelEncoder、OneHotEncoder）等预处理操作，但重启会话后加载模型时，没有使用训练时相同的预处理参数（比如用训练集计算的均值、方差，或者编码器的类别映射），而是重新对验证集做了预处理（比如用验证集自己的统计量），就会导致输入数据分布和训练时不一致，模型预测结果偏差极大。

解决办法：

• 将预处理工具（如StandardScaler、LabelEncoder）和模型一起保存（比如用joblib把预处理管道和模型打包），或者单独保存预处理工具的参数，重启会话后先加载预处理工具，用它来转换验证集数据。
• 示例：

# 训练时保存预处理工具和模型
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
import joblib

# 构建包含预处理和模型的管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('xgb', XGBClassifier(random_state=42))
])
pipeline.fit(X_train, y_train)

# 保存整个管道
joblib.dump(pipeline, 'xgb_pipeline.joblib')

# 重启会话后加载并预测
loaded_pipeline = joblib.load('xgb_pipeline.joblib')
y_pred = loaded_pipeline.predict(X_val)

2. Colab会话重启后XGBoost版本不一致 #

虽然你指定了使用1.6.0版本，但Colab重启后可能默认安装的XGBoost版本和之前不同（比如自动更新到更高版本），不同版本的XGBoost在模型序列化/反序列化时可能存在兼容性问题，导致加载后的模型参数异常。

解决办法：

• 在会话启动时强制安装指定版本的XGBoost：

!pip install xgboost==1.6.0

• 验证版本：

import xgboost as xgb
print(xgb.__version__)

3. 数据加载问题 #

重启会话后，加载验证集时可能出现数据格式变化、特征顺序改变、缺失值处理方式不同等问题，导致输入模型的数据和训练时的验证集不一致。

解决办法：

• 重启会话后检查验证集的特征顺序、数据类型、缺失值情况是否和训练时完全一致。
• 可以将预处理后的验证集保存为文件（比如val_data_preprocessed.csv），重启后直接加载预处理好的数据，避免重复处理带来的差异。

4. XGBoostClassifier的use_label_encoder参数问题 #

XGBoost 1.6.0版本中，XGBoostClassifier默认开启use_label_encoder=True，但如果训练时标签是0/1的二分类，重启会话后加载模型时，若标签处理逻辑有变化（比如模型内部的标签映射被错误加载），可能影响预测结果。

解决办法：

• 训练时显式设置use_label_encoder=False，并指定eval_metric='logloss'：

xgb_model = XGBClassifier(random_state=42, use_label_encoder=False, eval_metric='logloss')

内容的提问来源于stack exchange，提问作者nofelet