如何针对含不精确标签的数据集构建多标签分类机器学习模型
超集标签场景下的XGBoost分类训练方案
你遇到的是典型的**超集标签学习(Superset Label Learning)**问题,属于弱监督学习的主流分支,目前有多个成熟可落地的方案适配XGBoost这类传统树模型,可按实现复杂度和数据规模选择:
方案1:伪标签二次训练(实现门槛最低,工业界最常用)
适合模糊样本占总样本量低于20%的场景:
- 第一步:仅使用所有明确标注的A/B/C/D四类样本训练一个基准XGBoost四分类模型
- 第二步:用基准模型对所有模糊标签样本做预测,筛选出预测结果为C/D、且置信度高于设定阈值(通常设为0.6~0.8)的样本,将模型预测结果作为这些样本的伪标签
- 第三步:将带伪标签的样本和原始全标注样本混合,重新训练得到最终的分类模型
如果模糊样本占比低于5%,可以直接忽略这部分样本,基准模型的效果几乎不会有明显衰减
方案2:自定义损失函数(效果更稳定,无伪标签噪声问题)
XGBoost支持传入自定义损失函数,可针对模糊标签的约束直接修改损失逻辑:
- 对全标注样本:正常计算四分类的softmax交叉熵损失即可
- 对模糊标签样本:损失项改为
-log(p_C + p_D),即强制模型提升这类样本归属于C、D两类的总概率 - 实现时仅需要在损失函数中加标签判断逻辑,区分全标注样本和模糊样本即可
核心代码示例:
import numpy as np import xgboost as xgb def softmax(x): e_x = np.exp(x - np.max(x, axis=1, keepdims=True)) return e_x / np.sum(e_x, axis=1, keepdims=True) def custom_superset_loss(preds, dtrain): labels = dtrain.get_label() # 标签约定:0=A, 1=B, 2=C, 3=D, -1=模糊标签(仅属于C/D) preds = preds.reshape(-1, 4) preds_softmax = softmax(preds) grad = np.zeros_like(preds_softmax) hess = np.zeros_like(preds_softmax) for i in range(len(labels)): if labels[i] != -1: # 全标注样本的交叉熵梯度、海森计算 y = int(labels[i]) grad[i, y] = preds_softmax[i, y] - 1 hess[i, y] = preds_softmax[i, y] * (1 - preds_softmax[i, y]) else: # 模糊样本的损失梯度、海森计算 p_cd = preds_softmax[i, 2] + preds_softmax[i, 3] grad[i, 2] = (preds_softmax[i, 2] / p_cd) - 1 grad[i, 3] = (preds_softmax[i, 3] / p_cd) - 1 grad[i, 0] = preds_softmax[i, 0] grad[i, 1] = preds_softmax[i, 1] hess[i] = preds_softmax[i] * (1 - preds_softmax[i]) return grad.flatten(), hess.flatten() # 训练时传入自定义损失即可 model = xgb.XGBClassifier(objective=custom_superset_loss, num_class=4, n_estimators=100)
方案3:分类任务拆分法(无需自定义损失,完全适配原生XGBoost功能)
可以将四分类任务拆分为两个串行的二分类任务,完全不需要修改模型底层逻辑:
- 第一个二分类器:区分样本属于{A,B}还是{C,D}。全标注的A、B样本打标签0,全标注的C、D样本打标签1,所有模糊标签样本也打标签1,用全部样本训练该分类器
- 第二个二分类器:专门区分C类和D类,仅用全标注的C、D样本训练即可
- 推理流程:先输入第一个分类器,如果输出为{A,B}则直接输出对应类别;如果输出为{C,D}则输入第二个分类器得到最终的C/D分类结果
方案选型参考
| 对比维度 | 方案1 | 方案2 | 方案3 |
|---|---|---|---|
| 实现复杂度 | 最低 | 中等 | 低 |
| 效果稳定性 | 中等 | 最高 | 高 |
| 适合场景 | 模糊样本占比低 | 模糊样本占比高(>10%) | 不想修改损失函数的场景 |
内容的提问来源于stack exchange,提问作者user3737702
相关产品推荐
相关产品推荐

