如何获取scikit-learn中随机森林每棵树的OOB分数？

scikit-learn的RandomForestClassifier确实只提供整体OOB分数，但可以通过以下思路手动计算每棵树的OOB分数：

核心思路：遍历每棵树，单独计算其OOB样本的预测分数 #

随机森林中每棵树的OOB样本是未被选中参与该树训练的样本，我们可以利用模型的内置属性定位这些样本，再用对应树做预测并计算分数。

具体步骤与代码示例 #

1. 初始化模型时开启OOB计算：必须设置oob_score=True，模型才会记录训练时的样本选择信息。
2. 获取每棵树的OOB样本掩码：模型的estimators_samples_属性是一个数组，每个元素对应一棵训练树的样本选择掩码（True表示样本被用于训练该树，False即为OOB样本）。
3. 遍历计算每棵树的OOB分数：对每棵树，筛选出其OOB样本，用该树预测后计算对应分数（与整体OOB分数的计算逻辑保持一致）。

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# 示例数据集（替换为你的数据）
from sklearn.datasets import load_iris
X, y = load_iris(return_X_y=True)

# 初始化并训练随机森林，开启OOB计算
rf = RandomForestClassifier(n_estimators=10, oob_score=True, random_state=42)
rf.fit(X, y)

tree_oob_scores = []
for idx, tree in enumerate(rf.estimators_):
    # 获取当前树的OOB样本掩码
    oob_mask = ~rf.estimators_samples_[idx]
    oob_X = X[oob_mask]
    oob_y_true = y[oob_mask]
    
    # 处理无OOB样本的极端情况
    if len(oob_X) == 0:
        tree_oob_scores.append(np.nan)
        continue
    
    # 用当前树预测OOB样本并计算分数
    oob_y_pred = tree.predict(oob_X)
    # 分类任务默认OOB分数为准确率，与模型oob_score_逻辑一致
    score = accuracy_score(oob_y_true, oob_y_pred)
    tree_oob_scores.append(score)

# 输出每棵树的OOB分数
print("每棵树的OOB分数：", tree_oob_scores)
print("整体OOB分数：", rf.oob_score_)

注意事项 #

• 部分树可能没有OOB样本（如样本量极小或树数量过多时），需提前处理这类情况（如标记为NaN）。
• 分数计算逻辑要与整体OOB分数匹配：分类任务默认用准确率，回归任务默认用R²，可根据需求替换对应的评估指标（如f1_score、r2_score等）。

内容的提问来源于stack exchange，提问作者user23159776