XGBoost binary:logistic下predict输出与树模型手动计算不符排查

我在验证XGBoost binary:logistic 目标下，booster.predict() 输出与基于树模型的手动计算结果一致性时，发现结果存在约-1.58倍的差异。

验证代码 #

import xgboost as xgb
import pandas as pd
import numpy as np
import math
import random
np.random.seed(1)

data = pd.DataFrame(np.arange(100*4).reshape((100,4)), columns=['a', 'b', 'c', 'd'])
label = pd.DataFrame(np.random.randint(2, size=(100,1)))
data = pd.concat([data,label], ignore_index=True, axis =1)
data = pd.DataFrame(np.arange(100*4).reshape((100,4)), columns=['a', 'b', 'c', 'd'])
features = ['a', 'b', 'c', 'd']

dtrain = xgb.DMatrix(data, label=label)
param = {"max_depth":2, "base_score":0.2, 'objective': 'binary:logistic'}
clf1 = xgb.train(param, dtrain, 2)
clf1.dump_model("base_score1.txt")

e = math.exp(-(-0.143835619-0.123642519+0.2))
print(clf1.predict(dtrain)[0],1/(1+e))
## 输出：0.39109966 0.7583403831446165
## 预期e值应为1.5568930331924702，实际为0.31866905973448423

生成的树结构 #

booster[0]:
0:[a<126] yes=1,no=2,missing=1
    1:[a<58] yes=3,no=4,missing=3
        3:leaf=0.617647052
        4:leaf=0.0483870991
    2:leaf=0.691919208
booster[1]:
0:leaf=0.325955093

错误理解点 #

之前认为bst.predict()的输出是 sigmoid(base_score + 所有树叶子值之和)，即 1/(1+math.exp(-sum))（其中sum = base_score + sum_of_tree_values），这是核心错误。

正确计算逻辑 #

XGBoost中binary:logistic的预测流程是：

1. base_score是初始概率，需先转换为对数几率（log-odds）：
   对数几率公式为：log_odds_base = ln(base_score / (1 - base_score))
   对于base_score=0.2，计算得：log_odds_base = ln(0.2/0.8) = ln(0.25) ≈ -1.386294
2. 计算总对数几率：将初始对数几率与所有树的叶子值相加
   第一个样本的a=0，匹配booster[0]的叶子值0.617647052，加上booster[1]的叶子值0.325955093，总对数几率为：
   -1.386294 + 0.617647052 + 0.325955093 ≈ -0.442692
3. 转换为概率：用sigmoid函数将总对数几率转成概率
   probability = 1/(1 + exp(-total_log_odds)) = 1/(1 + exp(0.442692)) ≈ 0.3911
   该结果与clf1.predict(dtrain)[0]的输出完全一致。

总结 #

错误根源是直接将base_score（概率值）与树叶子值相加，忽略了base_score需要先转换为对数几率的步骤——XGBoost的树模型输出是对数几率的增量，而非概率的增量。

内容的提问来源于stack exchange，提问作者Error