使用XGBoost的Pipeline问题：Imputer与Scaler阻碍模型训练

问题核心 #

你忽略了关键细节：传入eval_set的是未经过Pipeline中Imputer和Scaler预处理的原始数据。

模型训练时用的是经过均值填充、标准化后的训练数据，但评估阶段直接传入了包含NaN、未缩放的原始测试/训练数据，两者数据分布完全不一致，导致RMSE指标异常飙升，触发early_stopping_rounds提前终止训练。

而移除Pipeline或手动预处理时，训练和评估用的都是同一分布的预处理后数据，所以模型能正常完成100轮训练。

修正方案 #

必须确保eval_set中的特征数据和训练数据经过完全相同的预处理流程，具体步骤如下：

1. 先让Pipeline的预处理模块（Imputer+Scaler）拟合训练数据，再转换训练集和测试集
2. 将转换后的数据集传入eval_set参数

修正后代码示例 #

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn import preprocessing
import xgboost

# 初始化Pipeline
xgb_pipe = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', preprocessing.StandardScaler()),
    ('regressor', xgboost.XGBRegressor(n_estimators=100, eta=0.1, objective="reg:squarederror"))
])

# 拟合预处理步骤并转换数据
xgb_pipe[:-1].fit(train_x)
train_x_processed = xgb_pipe[:-1].transform(train_x)
test_x_processed = xgb_pipe[:-1].transform(test_x)

# 训练模型，传入处理后的评估集
xgb_pipe.fit(train_x, train_y, 
             regressor__early_stopping_rounds=20, 
             regressor__eval_metric="rmse", 
             regressor__eval_set=[[train_x_processed, train_y], [test_x_processed, test_y]])

补充说明 #

XGBoost的eval_set参数不会自动触发Pipeline的预处理流程，必须手动保证训练数据与评估数据的预处理一致性，否则会因数据分布偏移导致模型评估失效，出现损失异常波动的情况。

内容的提问来源于stack exchange，提问作者Jonas