解决CatBoost中Model Shrinkage与Learning Continuation结合的未实现错误

首先感谢CatBoost库开发人员的出色工作！我正在研究梯度提升中Learning Continuation、Posterior Sampling与Model Shrinkage的组合应用，想探究这些技术在回归问题中的协同效果。根据CatBoost文档：

• Posterior Sampling：一种支持预测不确定性估计的bootstrap类型
• Model Shrinkage：通过迭代收缩树权重减少过拟合的技术
• Learning Continuation：从已保存模型恢复训练的方法

我的问题：

1. 如何在CatBoost中实现Model Shrinkage与Learning Continuation的结合？有没有办法规避相关报错？
2. 是否有同时支持Posterior Sampling和SGLB的替代库可以尝试？

报错详情 #

当在CatBoostRegressor中设置loss_function='RMSEWithUncertainty'且posterior_sampling=True，并应用Learning Continuation时，出现以下输出及错误：

运行输出： #

0: learn: 3.4441362    total: 372us    remaining: 372us
1: learn: 3.3704627    total: 994us    remaining: 0us
Model shrinkage in combination with learning continuation is not implemented yet. Reset model_shrink_rate to 0.

错误堆栈： #

C:/Go_Agent/pipelines/BuildMaster/catboost.git/catboost/libs/train_lib/options_helper.cpp:386: Model shrinkage and Posterior Sampling in combination with learning continuation is not implemented yet.

代码片段 #

from catboost import CatBoostRegressor

# Initialize data
train_data = [[1, 4, 5, 6],
              [4, 5, 6, 7],
              [30, 40, 50, 60]]

eval_data = [[2, 4, 6, 8],
             [1, 4, 50, 60]]

train_labels = [10, 20, 30]

# initial parameters
model1 = CatBoostRegressor(iterations=2,
                           learning_rate=0.2,
                           depth=2,
                           loss_function='RMSEWithUncertainty',
                           posterior_sampling=True)
# result will be in model1
model1.fit(train_data, train_labels)

# continue training with the same parameters
model2 = CatBoostRegressor(iterations=2,
                           learning_rate=0.2,
                           depth=2,
                           loss_function='RMSEWithUncertainty',
                           posterior_sampling=True)

# result will be in model2, model1 will be unchanged
model2.fit(train_data, train_labels, init_model=model1)

关于CatBoost中Model Shrinkage与Learning Continuation的结合 #

从报错信息可以明确：当前CatBoost版本未实现Model Shrinkage+Posterior Sampling+Learning Continuation的组合逻辑，甚至单独的Model Shrinkage与Learning Continuation组合也未支持（提示信息已说明Model shrinkage in combination with learning continuation is not implemented yet），因此没有直接的规避方法，无法通过参数调整绕开这个限制。

如果你的研究必须同时用到相关技术，可尝试以下折中方案：

1. 放弃Learning Continuation：一次性完成足够轮数的训练，全程启用Model Shrinkage和Posterior Sampling
2. 放弃Posterior Sampling：如果不需要不确定性估计，仅保留Model Shrinkage和Learning Continuation，此时不会触发该报错

替代库推荐 #

如果需要同时支持Posterior Sampling（或类似不确定性估计）和SGLB（Stochastic Gradient Langevin Boosting），可以考虑：

• XGBoost：支持通过bootstrap采样实现不确定性估计，训练续跑（xgb_model参数）功能成熟，可结合正则化参数实现类似模型收缩的效果
• LightGBM：支持bagging_fraction和bagging_freq实现bootstrap采样，也支持模型续训练；通过lambda_l1/lambda_l2正则化项可达到减少过拟合的收缩效果
• PyMC系列：偏向贝叶斯梯度提升框架，原生支持后验采样，可结合正则化实现模型收缩，不过这类库更侧重概率建模，训练效率可能低于传统GBDT库

内容的提问来源于stack exchange，提问作者erik