如何对MultiOutputRegressor封装的XGBoost模型做增量训练并解决报错
问题报错原因
核心问题有三个:
xgb_model是XGBoost原生模型(XGBRegressor/XGBClassifier本身)的fit方法支持的参数,你直接把它传给Scikit-learn封装的MultiOutputRegressor的fit方法,后者根本不识别这个参数,自然抛出类型错误。- 你在每次循环迭代里都重新初始化了
XGBRegressor和MultiOutputRegressor实例,旧模型的参数完全没有被复用,逻辑本身不符合增量训练的要求。 MultiOutputRegressor的原理是对每个输出维度单独训练一个基模型,所以增量训练时需要单独给每个维度的子XGBoost模型传对应的旧模型实例,不能直接传整个wrapper对象。
修正后的可运行代码
import os import joblib import xgboost as xgb from sklearn.multioutput import MultiOutputRegressor params = { 'n_estimators':2000, 'learning_rate':0.001, 'max_depth':6, 'min_child_weight': 1, 'eta':.3, 'subsample': 1, 'colsample_bytree': 1, 'objective':'reg:squarederror', } path = os.path.join('.', "xgb_model_direct.pkl") wrapper = None for i, (x_batch, y_batch, _, _, _, _) in enumerate(pca_train_ds): # 数据预处理 x_batch = x_batch.numpy().reshape(x_batch.shape[0], -1) y_batch = y_batch.numpy().reshape(y_batch.shape[0], -1) if i == 0: # 首次训练初始化模型 base_model = xgb.XGBRegressor(**params) wrapper = MultiOutputRegressor(base_model) wrapper.fit(x_batch, y_batch) # 保存完整wrapper joblib.dump(wrapper, path) else: # 加载上一轮训练好的旧wrapper old_wrapper = joblib.load(path) # 初始化新的base模型 new_base = xgb.XGBRegressor(**params) wrapper = MultiOutputRegressor(new_base) # 逐个输出维度做增量训练 for output_idx in range(y_batch.shape[1]): # 取对应维度的旧模型 old_estimator = old_wrapper.estimators_[output_idx] # 给单个XGBRegressor传xgb_model参数做增量训练 wrapper.estimators_[output_idx].fit( x_batch, y_batch[:, output_idx], xgb_model=old_estimator.get_booster() ) # 保存本轮更新后的模型 joblib.dump(wrapper, path)
额外注意事项
- 增量训练时
n_estimators参数代表每轮新增的树数量,不是总树量,多轮训练后树的总数会是轮数×单轮n_estimators,可根据实际需要调整参数控制模型大小。 - 训练全程输入特征维度、输出维度必须保持一致,不能中途变化,否则会触发维度不匹配报错。
内容的提问来源于stack exchange,提问作者LeparaLaMapara
相关产品推荐
相关产品推荐

