You need to enable JavaScript to run this app. 如何针对含不精确标签的数据集构建多标签分类机器学习模型
优惠活动
大模型
产品
解决方案
定价
更多

如何针对含不精确标签的数据集构建多标签分类机器学习模型

超集标签场景下的XGBoost分类训练方案

你遇到的是典型的**超集标签学习(Superset Label Learning)**问题,属于弱监督学习的主流分支,目前有多个成熟可落地的方案适配XGBoost这类传统树模型,可按实现复杂度和数据规模选择:

方案1:伪标签二次训练(实现门槛最低,工业界最常用)

适合模糊样本占总样本量低于20%的场景:

  • 第一步:仅使用所有明确标注的A/B/C/D四类样本训练一个基准XGBoost四分类模型
  • 第二步:用基准模型对所有模糊标签样本做预测,筛选出预测结果为C/D、且置信度高于设定阈值(通常设为0.6~0.8)的样本,将模型预测结果作为这些样本的伪标签
  • 第三步:将带伪标签的样本和原始全标注样本混合,重新训练得到最终的分类模型

如果模糊样本占比低于5%,可以直接忽略这部分样本,基准模型的效果几乎不会有明显衰减


方案2:自定义损失函数(效果更稳定,无伪标签噪声问题)

XGBoost支持传入自定义损失函数,可针对模糊标签的约束直接修改损失逻辑:

  • 对全标注样本:正常计算四分类的softmax交叉熵损失即可
  • 对模糊标签样本:损失项改为-log(p_C + p_D),即强制模型提升这类样本归属于C、D两类的总概率
  • 实现时仅需要在损失函数中加标签判断逻辑,区分全标注样本和模糊样本即可

核心代码示例:

import numpy as np
import xgboost as xgb

def softmax(x):
    e_x = np.exp(x - np.max(x, axis=1, keepdims=True))
    return e_x / np.sum(e_x, axis=1, keepdims=True)

def custom_superset_loss(preds, dtrain):
    labels = dtrain.get_label()
    # 标签约定:0=A, 1=B, 2=C, 3=D, -1=模糊标签(仅属于C/D)
    preds = preds.reshape(-1, 4)
    preds_softmax = softmax(preds)
    grad = np.zeros_like(preds_softmax)
    hess = np.zeros_like(preds_softmax)
    
    for i in range(len(labels)):
        if labels[i] != -1:
            # 全标注样本的交叉熵梯度、海森计算
            y = int(labels[i])
            grad[i, y] = preds_softmax[i, y] - 1
            hess[i, y] = preds_softmax[i, y] * (1 - preds_softmax[i, y])
        else:
            # 模糊样本的损失梯度、海森计算
            p_cd = preds_softmax[i, 2] + preds_softmax[i, 3]
            grad[i, 2] = (preds_softmax[i, 2] / p_cd) - 1
            grad[i, 3] = (preds_softmax[i, 3] / p_cd) - 1
            grad[i, 0] = preds_softmax[i, 0]
            grad[i, 1] = preds_softmax[i, 1]
            hess[i] = preds_softmax[i] * (1 - preds_softmax[i])
    
    return grad.flatten(), hess.flatten()

# 训练时传入自定义损失即可
model = xgb.XGBClassifier(objective=custom_superset_loss, num_class=4, n_estimators=100)

方案3:分类任务拆分法(无需自定义损失,完全适配原生XGBoost功能)

可以将四分类任务拆分为两个串行的二分类任务,完全不需要修改模型底层逻辑:

  • 第一个二分类器:区分样本属于{A,B}还是{C,D}。全标注的A、B样本打标签0,全标注的C、D样本打标签1,所有模糊标签样本也打标签1,用全部样本训练该分类器
  • 第二个二分类器:专门区分C类和D类,仅用全标注的C、D样本训练即可
  • 推理流程:先输入第一个分类器,如果输出为{A,B}则直接输出对应类别;如果输出为{C,D}则输入第二个分类器得到最终的C/D分类结果

方案选型参考

对比维度方案1方案2方案3
实现复杂度最低中等低
效果稳定性中等最高高
适合场景模糊样本占比低模糊样本占比高(>10%)不想修改损失函数的场景

内容的提问来源于stack exchange,提问作者user3737702

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 20:24:03