如何使用if语句复现XGBoost的树分裂规则并得到正确预测结果

问题原因 #

你手动累加得到的-0.14899是所有提升树的叶子节点输出之和，也就是XGBoost的原始边际输出（margin value），而你设置了objective=binary:logistic，模型默认的predict接口返回的是经过sigmoid变换后的分类概率值，这是两者结果不一致的核心原因。

正确计算步骤 #

• 第一步：累加所有boost树的叶子值，得到边际值sum_leaf
  你提供的测试样本计算过程如下：
  1. booster[0]：f3=0.5986 < 0.905868 → 进入节点1；f0=0.3745 > 0.03096 → 进入节点4，叶子值为-0.561797738
  2. booster[1]：f2=0.7320 < 0.86345 → 进入节点1；f2=0.7320 > 0.71782 → 进入节点4，叶子值为1.03587329
  3. booster[2]：f2=0.7320 > 0.46345 → 进入节点2；f3=0.5986 < 0.70410 → 进入节点5，叶子值为-0.623027325
     累加得到：sum_leaf = -0.561797738 + 1.03587329 - 0.623027325 ≈ -0.14895
• 第二步：对sum_leaf应用sigmoid函数得到最终预测概率
  sigmoid公式：sigmoid(x) = 1 / (1 + np.exp(-x))
  代入计算得：1/(1 + np.exp(0.14895)) ≈ 0.4628

数值误差说明 #

你提到的模型直接预测结果0.4828和上述计算结果的误差来自于导出的树规则中叶子值是截断显示的，并非XGBoost内部计算用的全精度数值，使用全精度叶子值计算即可得到和predict接口完全一致的结果。
你也可以通过bst.predict(dtrain, output_margin=True)获取模型输出的原始边际值，和手动累加的结果做验证，两者数值完全匹配。

补充说明：如果你修改了XGBoost默认的base_score参数，需要先计算base_score对应的初始logit：base_logit = np.log(base_score / (1 - base_score))，将其和所有叶子值累加后再通过sigmoid变换得到最终结果。默认base_score=0.5时初始logit为0，无需额外累加。

内容的提问来源于stack exchange，提问作者Nicolas Gervais