使用0-1平滑标签训练XGBoost分类器的技术问题咨询

问题背景 #

尝试用0到1之间的平滑标签替代二元标签训练XGBoost分类器时，原生XGBoost的xgb.train接口可以正常运行：

from xgboost import XGBClassifier
import numpy as np
import xgboost as xgb
train_data = np.random.rand(20, 10)
train_label = np.random.random(20)  # 0-1之间的平滑标签
dtrain = xgb.DMatrix(train_data, label=train_label)

test_data = np.random.rand(20, 10)
test_label = np.random.random(20)
dtest = xgb.DMatrix(test_data, label=test_label)

param = {'max_depth': 2, 'eta': 1, 'objective': 'binary:logistic', 'eval_metric': 'auc'}
evallist = [(dtrain, 'train'), (dtest, 'eval')]

bst = xgb.train(params=param, dtrain=dtrain, num_boost_round=10, evals=evallist)
# 输出示例：
# [0] train-auc:0.68952   eval-auc:0.53327
# [1] train-auc:0.74847   eval-auc:0.49597
# [2] train-auc:0.79158   eval-auc:0.45795

但使用sklearn封装的XGBClassifier时，出现报错：

model = XGBClassifier(**param)
model.fit(train_data, train_label)

ValueError: Invalid classes inferred from unique values of `y`.  Expected: [0 1], got [...]

问题解答 #

1. 原生xgb.train是否真正利用了平滑标签？ #

是，原生接口确实会直接使用平滑标签进行训练，不会将其转换为0或1。

XGBoost的binary:logistic目标函数本质是对数损失（Log Loss），其数学形式允许标签$y$取[0,1]区间内的任意值，原生xgb.train接口不会对标签做额外二值化处理，会直接将平滑标签代入损失函数进行优化。

2. XGBClassifier为何无法适配平滑标签？如何解决？ #

原因：

sklearn封装的XGBClassifier是为标准离散分类任务设计的，在fit方法中会自动推断标签类别：

• 默认认为二元分类任务的标签应该是0和1（或两个离散类别）
• 当传入连续的0-1平滑标签时，无法推断出标准二元类别，因此抛出Invalid classes错误

解决方法：

有两种可行方式让XGBClassifier支持平滑标签：

方法一：切换到回归任务模式

将目标函数改为reg:logistic（逻辑回归，输出0-1之间的概率值），此时XGBClassifier会以回归任务模式运行，不再检查标签的离散类别：

param = {'max_depth': 2, 'eta': 1, 'objective': 'reg:logistic', 'eval_metric': 'auc'}
model = XGBClassifier(**param)
model.fit(train_data, train_label)

方法二：手动设置类别并跳过检查

显式设置classes_属性，强制指定二元分类的类别，从而绕过自动推断逻辑：

model = XGBClassifier(**param)
model.classes_ = np.array([0, 1])  # 手动设置二元类别
model.fit(train_data, train_label, eval_set=[(test_data, test_label)])

不过更稳妥的是方法一，因为reg:logistic本身就是为处理连续目标值设计的，与平滑标签的训练场景更匹配。

内容的提问来源于stack exchange，提问作者Allen Qin