如何提取BaggingRegressor集成回归器中的单个树模型并单独使用？

当然可以实现！Scikit-learn的BaggingRegressor在完成训练后，会把所有训练好的基模型（也就是你设置的10棵决策树）都存在**estimators_**属性里——别漏看末尾的下划线，这是sklearn里用来标记「训练后生成的属性」的惯例。

具体操作步骤 #

• 确保你的集成模型已经完成训练（就像你代码里调用.fit(feature, target)之后的状态）
• 通过Reg_ensemble.estimators_就能拿到所有基模型的列表，列表长度正好对应你设置的n_estimators参数（这里就是10）
• 你可以随意遍历、访问列表里的每一棵树，甚至用它们单独对测试样本做预测

代码示例 #

# 假设你已经准备好了测试集特征test_feature
# 获取所有训练好的单棵决策树
individual_trees = Reg_ensemble.estimators_

# 遍历每棵树，输出它们的预测结果
for tree_idx, single_tree in enumerate(individual_trees):
    print(f"第{tree_idx + 1}棵决策树的测试集预测结果：")
    tree_preds = single_tree.predict(test_feature)
    print(tree_preds)

小提醒 #

这里要注意：这些单棵树已经在Bagging的训练流程里完成拟合了，不需要再用测试样本重新拟合！测试样本是用来评估模型性能的，要是用它去拟合单棵树，反而会破坏模型原本的泛化能力哦。

另外，你还可以查看单棵树的具体参数，比如想确认第一棵树的最大深度，直接写print(individual_trees[0].max_depth)，就能看到你设置的3啦。

内容的提问来源于stack exchange，提问作者Ehsan