Optuna调优CatboostRegressor时trial乱序是否异常及调优方式选择

Trial乱序问题说明 #

这属于正常现象，无需处理。
你在代码中设置了study.optimize的参数n_jobs=-1，即启用全核心并行运行多组trial，不同trial的超参数配置不同（例如n_estimators越大、max_depth越深，训练耗时就越长），所以先启动的trial不一定先跑完，打印的完成顺序自然是乱的。
你看到的网上示例都是默认n_jobs=1串行执行，trial按启动顺序逐个完成，所以输出顺序和编号一致。并行执行不影响Optuna的超参数搜索逻辑，也不会改变最终的最优参数结果，只是打印顺序不同，不需要做额外调整。如果需要顺序输出，把n_jobs改为1即可，但调优速度会明显变慢。

cb.cv与手动实例化fit的差异及选择 #

两种方式没有本质的效果优劣，核心差异在超参数评估的可靠性：

• 你现在用的手动实例化CatBoostRegressor后fit、predict的方式，是基于你单次固定拆分的训练集、验证集做评估，得到的超参数容易过拟合到这一份验证集上，适合数据集规模极大、单折验证的样本量足够且分布和测试集完全对齐的场景，优势是运行速度快。
• 用cb.cv是基于K折交叉验证得到平均验证指标，用这个指标作为objective的返回值的话，优化得到的超参数泛化性更稳定，不容易过拟合到单次拆分的验证集，适合数据集规模中等偏小、希望得到更可靠超参数的场景，而且cb.cv内置了早停支持，不需要自己提前拆分验证集，代码实现更简洁。

另外你现有代码可以做个小优化：fit时已经传入了eval_set和early_stopping_rounds，不需要额外调用predict计算验证集MAE，直接取cat_optuna.get_best_score()['validation_0']['MAE']即可，能减少一点运行开销。

内容的提问来源于stack exchange，提问作者Hojiyama