如何保存随机森林模型并在加载后使用新数据继续训练

你初始化模型时已经设置了warm_start=True，这是scikit-learn框架下随机森林支持续训的核心开关，不需要额外改模型结构，只要避开两个常见的代码错误就能实现需求：

• 你之前的续训代码逻辑里，加载的模型赋值给了loaded_model，但调用fit方法的是旧的regressor对象，两者不是同一个实例，训练操作根本不会作用在你加载回来的模型上
• 直接调用fit且不修改n_estimators参数的话，模型会清空之前训练好的所有决策树重新训练，完全达不到续训效果

正确操作代码 #

初始训练与保存（你原有逻辑无需改动） #

from sklearn.ensemble import RandomForestRegressor
import pickle

# 初始化模型，如果是高版本scikit-learn，把criterion="mse"换成criterion="squared_error"即可，功能完全一致
regressor = RandomForestRegressor(n_estimators=50,
                              random_state=Zufallszahl,
                              bootstrap= True,
                              criterion="mse",
                              max_features=None,
                              max_samples = None,
                              min_samples_leaf=5,
                              min_samples_split=40,
                              warm_start=True
                              )
# 用第一批数据集训练
regressor.fit(x_train_first, y_train_first)
# 保存模型
filename = 'random_forest_1.sav'
pickle.dump(regressor, open(filename, 'wb'))

加载模型+新数据集续训 #

import pickle
# 加载已保存的模型
loaded_model = pickle.load(open(filename, 'rb'))

# 核心步骤：在原有树的数量基础上，增加本次要新训练的决策树数量
# 例：原有50棵树，本次新增训练30棵，最终模型会有80棵树
add_tree_count = 30  # 可根据新数据集规模、验证集效果自行调整
loaded_model.n_estimators = loaded_model.n_estimators + add_tree_count

# 用新数据集训练新增的决策树，注意调用fit的必须是加载回来的loaded_model实例
loaded_model.fit(x_train_new, y_train_new)

# 续训完成后重新保存模型，下次加载可继续迭代训练
pickle.dump(loaded_model, open(filename, 'wb'))

# 续训后的模型可以直接正常预测
result = loaded_model.predict(X_test)

注意事项 #

• 续训过程中不要修改除n_estimators之外的其他模型超参数（比如min_samples_leaf、max_features这类初始化时设定的固定参数），否则会触发报错，或导致新旧决策树的推理规则不兼容
• 随机森林的续训逻辑和神经网络的权重微调不一样：warm_start模式下不会修改原有已经训练好的决策树结构和节点，只会在新数据集上训练新增的决策树，最终整合所有新旧树的推理结果输出预测值，本质是扩充集成模型的规模来融合新旧数据的规律
• 每次新增训练的决策树数量不建议太少，否则新数据的规律很难在最终集成结果中体现，一般建议单次新增的树数量不低于初始n_estimators值的30%，可以结合验证集的效果灵活调整
• 如果你的需求是完全适配新数据分布、不需要保留旧数据学习到的规律，直接重新初始化模型训练即可，不需要用warm_start续训

内容的提问来源于stack exchange，提问作者Tarik Benrabah