使用XGBoost随机森林如何提取每棵树的预测结果？

完全可以实现和sklearn一致的单棵树预测结果提取，官方API原生支持该能力，不需要手动解析树结构计算预测值，GPU训练/推理场景下同样适用。

推荐方法（版本要求：XGBoost ≥ 1.3.0） #

使用predict方法自带的output_iterations参数，可以一次性输出所有树的预测结果，不需要循环调用，GPU场景下推理效率最高。
示例代码（以sklearn风格的XGBRFClassifier为例，回归器XGBRFRegressor用法完全一致）：

import numpy as np
from xgboost import XGBRFClassifier

# 模型训练，device="cuda"即启用GPU加速
clf = XGBRFClassifier(n_estimators=100, device="cuda", random_state=42)
clf.fit(X_train, y_train)

# 一次性获取所有树的原始预测输出，返回形状为(样本数, 树的数量)
per_tree_margin = clf.predict(
    X_test,
    output_iterations=True,
    output_margin=True
)

# 二分类场景下手动转成概率值
def sigmoid(x):
    return 1 / (1 + np.exp(-x))
per_tree_proba = sigmoid(per_tree_margin)
# 转成0/1硬分类结果
per_tree_class = (per_tree_proba >= 0.5).astype(int)

老版本兼容写法 #

如果使用1.3.0以下的旧版本XGBoost，可以通过iteration_range参数逐棵指定预测用的树范围，循环收集结果，逻辑和sklearn遍历estimators_完全一致：

n_estimators = clf.n_estimators
per_tree_pred = []
for tree_idx in range(n_estimators):
    # iteration_range为左闭右开区间，(tree_idx, tree_idx+1)代表仅用第tree_idx棵树推理
    single_pred = clf.predict(
        X_test,
        iteration_range=(tree_idx, tree_idx+1)
    )
    per_tree_pred.append(single_pred)
# 转成(样本数, 树数量)的格式，和sklearn输出对齐
per_tree_pred = np.array(per_tree_pred).T

注意事项 #

• 如果使用XGBoost原生API（非sklearn风格包装类），只需要将输入换成DMatrix格式传入booster.predict()，上述两个参数同样生效。
• 分类任务提取单棵树结果时建议开启output_margin=True拿到原始逻辑输出，再手动做sigmoid/softmax转换，避免单棵树预测结果被重复归一化导致偏差。
• 提取到的单棵树预测结果格式和sklearn随机森林输出完全对齐，可以直接用于不确定性评估、预测区间计算等后续分析。

内容的提问来源于stack exchange，提问作者EtienneT