内存受限下调XGBoost超参数，Optuna分次小n_trials等效单次大n_trials吗？

问题结论 #

拆分4次n_trials=5运行，和单次n_trials=20运行的调参效果通常差异很大，远不如单次运行的结果好

核心原因 #

• Optuna默认使用的贝叶斯优化类采样算法（如TPE、高斯过程采样），核心逻辑是基于之前的试验结果动态调整后续超参数的搜索方向，积累的历史试验数据越多，搜索效率越高。你每次重新启动程序运行5次试验，都会重置采样器的历史数据，本质等于随机采样20组超参数，完全发挥不了贝叶斯优化的优势。
• 你遇到的MemoryError大概率和n_trials的数值无关，而是每次试验后没有及时释放XGBoost模型、训练/验证数据集这类大内存对象，你可以做两个小修改解决：
  • 试验回调中加入内存回收逻辑，每次试验结束后删除临时变量并调用gc.collect()
  • 调用study.optimize()时传入参数gc_after_trial=True，Optuna 2.0及以上版本自带每次试验后的内存回收能力，绝大多数情况下调整后即可支持单次跑20次以上的试验不爆内存。

必须拆分运行的解决方案 #

如果你确实因为环境限制必须拆分多次运行，不要每次重新创建Study对象，选择本地持久化存储Study：

import optuna
# 所有次运行都用同一份SQLite存储，自动加载已有的试验结果
study = optuna.create_study(
    storage="sqlite:///xgb_tuning_study.db",
    study_name="xgb_hp_tune",
    load_if_exists=True
)
study.optimize(objective, n_trials=5)

这种模式下拆分4次运行5个trials，和单次运行20个trials的效果完全一致，采样器可以读取所有历史试验结果优化搜索方向。

内容的提问来源于stack exchange，提问作者Laughingtree