如何从检查点重启skopt.BayesSearchCV超参数搜索任务

skopt的CheckpointSaver确实只能保存贝叶斯优化器的核心状态，没法直接用来重启BayesSearchCV——因为后者还包含了交叉验证结果、已完成迭代的记录等额外状态。下面给两种可行的续搜方法：

方法一：基于CheckpointSaver恢复优化器状态，手动续搜 #

这种方法利用CheckpointSaver保存的优化器数据，手动补全BayesSearchCV的必要状态，让它从断点继续搜索。

步骤1：首次运行时配置CheckpointSaver #

from skopt import BayesSearchCV
from skopt.callbacks import CheckpointSaver
from sklearn.svm import SVC

# 定义超参数搜索空间
search_space = {
    'C': (1e-6, 1e+6, 'log-uniform'),
    'gamma': (1e-6, 1e+6, 'log-uniform'),
    'kernel': ['linear', 'rbf']
}

# 初始化CheckpointSaver，指定保存路径
checkpoint_saver = CheckpointSaver("./bayes_optimizer_checkpoint.pkl", compress=9)

# 初始化BayesSearchCV
opt = BayesSearchCV(
    estimator=SVC(),
    search_spaces=search_space,
    n_iter=50,  # 总搜索次数
    cv=3,
    callbacks=[checkpoint_saver]
)

# 启动首次搜索
opt.fit(X_train, y_train)

步骤2：重启后恢复并续搜 #

import pickle
from skopt import BayesSearchCV
from sklearn.svm import SVC

# 加载保存的优化器状态
with open("./bayes_optimizer_checkpoint.pkl", "rb") as f:
    optimizer_state = pickle.load(f)

# 计算已完成的迭代次数
completed_iter = len(optimizer_state['x_iters'])
# 剩余需要搜索的次数
remaining_iter = 50 - completed_iter

# 重新初始化BayesSearchCV，注意n_iter设为剩余次数
opt = BayesSearchCV(
    estimator=SVC(),
    search_spaces=search_space,
    n_iter=remaining_iter,
    cv=3,
    callbacks=[checkpoint_saver]
)

# 恢复优化器状态到BayesSearchCV实例
opt.optimizer_results_ = [optimizer_state]
# 标记已完成的迭代数（私有属性，注意skopt版本兼容性）
opt._n_iter_done = completed_iter

# 继续搜索
opt.fit(X_train, y_train)

方法二：自定义回调保存完整BayesSearchCV实例 #

如果需要更完整的状态恢复（包括已完成的交叉验证结果），可以写一个自定义回调，定期序列化整个BayesSearchCV对象。

步骤1：定义自定义Checkpoint回调 #

import pickle
from skopt.callbacks import Callback

class FullBayesSearchCheckpoint(Callback):
    def __init__(self, checkpoint_path, every_n_iter=1):
        self.checkpoint_path = checkpoint_path
        self.every_n_iter = every_n_iter
        self.opt = None  # 后续绑定BayesSearchCV实例
    
    def __call__(self, res):
        # 每指定次数迭代保存一次完整状态
        if len(res.x_iters) % self.every_n_iter == 0:
            with open(self.checkpoint_path, "wb") as f:
                pickle.dump(self.opt, f)

步骤2：首次运行时使用自定义回调 #

from skopt import BayesSearchCV
from sklearn.svm import SVC

search_space = {
    'C': (1e-6, 1e+6, 'log-uniform'),
    'gamma': (1e-6, 1e+6, 'log-uniform'),
    'kernel': ['linear', 'rbf']
}

opt = BayesSearchCV(
    estimator=SVC(),
    search_spaces=search_space,
    n_iter=50,
    cv=3
)

# 初始化自定义回调，设置每5次迭代保存一次
checkpoint_callback = FullBayesSearchCheckpoint("./bayes_search_full_checkpoint.pkl", every_n_iter=5)
# 绑定BayesSearchCV实例到回调
checkpoint_callback.opt = opt

# 添加回调到搜索器
opt.callbacks = [checkpoint_callback]

# 启动搜索
opt.fit(X_train, y_train)

步骤3：重启后恢复完整实例续搜 #

import pickle

# 加载完整的BayesSearchCV实例
with open("./bayes_search_full_checkpoint.pkl", "rb") as f:
    opt = pickle.load(f)

# 计算剩余迭代次数
total_iter = 50
completed_iter = len(opt.optimizer_results_[0]['x_iters'])
remaining_iter = total_iter - completed_iter

# 更新搜索器的剩余迭代次数
opt.n_iter = remaining_iter

# 继续搜索
opt.fit(X_train, y_train)

注意事项 #

• 私有属性兼容性：方法一中的_n_iter_done是BayesSearchCV的私有属性，skopt版本更新可能会变动，建议使用与首次运行相同的skopt版本。
• 序列化限制：pickle无法序列化所有对象，如果你的estimator包含自定义类或无法序列化的组件，可使用joblib替代pickle（joblib对sklearn模型的序列化更友好）。
• 存储大小：方法二保存完整实例会生成更大的文件，可根据需求调整every_n_iter参数，减少保存频率。

内容的提问来源于stack exchange，提问作者jet457