如何用XGBoost自定义损失函数实现仅输出高置信度分类预测？

问题背景 #

我正在针对特定需求编写带自定义损失函数的XGBClassifier模型：

• 数据集标签是{-1, 1}两类
• 期望模型仅在高度置信时输出{-1,1}，不置信时输出0（中性），最终预测值范围为{-1,0,1}，且允许绝大多数预测结果为0
• 设计的损失函数：

  loss = 0.02 + 0.06 * e^(-2.8 * y_pred * y_true)
  

  意图是当模型预测0时设置非零损失，激励其偶尔输出{-1,1}

核心疑问 #

1. 这个损失函数能否有效激励XGB模型只输出高置信度结果？
2. 训练集没有0标签，怎么实现模型输出{-1,0,1}？

尝试代码（验证集精度无变化，损失函数存在问题） #

def custom_loss(y_pred, y_true):
  grad = -0.168 * np.exp(-2.8 * y_true)
  hess = [0] * y_pred.shape[0]
  return grad, hess

model = xgboost.XGBClassifier(
    learn_rate=0.1,
    max_depth=3,
    n_estimators=5000,
    subsample=0.4,
    colsample_bytree=0.4,
    objective=custom_loss,
    verbosity=1
)

model.fit(
    X_train, 
    y_train, 
    early_stopping_rounds=100, 
    eval_set=[(X_valid, y_valid)], 
    verbose=True
)

问题解答 #

1. 现有损失函数无法实现目标的原因 #

你设计的损失函数逻辑和梯度计算都存在核心错误：

• 梯度完全没用到y_pred：当前梯度只和y_true挂钩，每个样本的梯度是固定值，模型根本没法根据预测结果调整参数，等于白训练
• 损失函数没定义"输出0"的规则：XGBoost原生输出是连续的对数几率（或回归值），你的损失函数是针对连续y_pred优化的，没有把"输出0"这个离散选择和损失绑定，自然没法激励模型弃权

正确的思路是把"弃权"转化为置信度阈值问题：

• 要么先让模型用原生二分类目标训练，输出连续概率值，之后设置极高阈值（比如概率>0.99才输出1，<0.01才输出-1，中间输出0）
• 要是想通过损失函数强化这个逻辑，得修改损失函数，让低置信度的预测付出更高代价，比如：

  # 示例：当|y_pred|低于阈值时，额外加惩罚
  loss = 0.02 + 0.06 * exp(-2.8 * y_pred * y_true) + 10 * max(0, 3 - abs(y_pred))
  

  同时必须正确计算梯度——梯度是损失对y_pred的导数，你当前的梯度完全忽略y_pred是致命错误。

2. 无0标签实现三输出的方案 #

训练集没有0标签，没法直接让模型输出0，因为模型的训练目标是拟合{-1,1}的标签，正确实现方式分两步：

• 训练阶段：用XGBoost原生的二分类目标训练，让模型输出连续的概率值（或对数几率）
• 推理阶段：添加后处理逻辑，用置信度阈值生成0：

  # 示例：假设模型输出的是样本属于1类的概率
  y_proba = model.predict_proba(X_test)[:, 1]
  y_pred = np.where(y_proba > 0.99, 1, np.where(y_proba < 0.01, -1, 0))
  

  如果一定要在训练阶段嵌入弃权逻辑，可以把问题转成三分类：给原样本复制两份分别标记1和-1，再人工构造"弃权样本"，但这种方法需要合理构造弃权样本的特征，难度远高于阈值法。

你的代码的具体问题 #

• 梯度计算错误：正确梯度必须是损失函数对y_pred的导数，你当前的梯度和y_pred无关，模型参数根本不会更新
• 海森矩阵全0：XGBoost依赖二阶导数（海森矩阵）做优化，全0会导致训练完全失效
• 缺少自定义评估指标：自定义目标函数时，需要指定eval_metric来计算验证集性能，否则模型不知道怎么判断训练效果

内容的提问来源于stack exchange，提问作者Eric