多标签分类中标签不平衡问题的处理方法咨询（ANN场景）

针对你遇到的多标签分类中标签极度不平衡、模型只倾向预测高频标签的问题，不用急着剔除高频标签，可以试试以下几种方案，重点提升稀疏标签的真阳性率：

• 给损失函数加类别权重
  这是最直接的调整方式：给稀疏标签（正样本少的标签）设置更高的损失权重，让模型在预测错误时承担更大的惩罚。
  计算权重的方式可以用「总样本数/(2×该标签正样本数)」，比如你的示例里，第7个标签（索引6）只有1个正样本，总样本7个，权重就是7/(2×1)=3.5；而第2个标签（索引1）有6个正样本，权重就是7/(2×6)≈0.58。
  在Keras里可以自定义加权的二元交叉熵损失：

  import tensorflow as tf
  
  def weighted_bce(y_true, y_pred, class_weights):
      # class_weights是和标签维度一致的权重数组
      bce = tf.keras.losses.binary_crossentropy(y_true, y_pred)
      # 按标签维度加权后取均值
      weighted_loss = tf.reduce_mean(bce * class_weights)
      return weighted_loss
  
  # 假设你计算好的权重数组是weights = [0.58, 0.58, 0.7, ..., 3.5, ...]
  model.compile(optimizer='adam', loss=lambda yt, yp: weighted_bce(yt, yp, weights))
  

• 调整评估指标，聚焦稀疏标签的召回率
  别只盯着整体准确率，改用更适合不平衡数据的指标，重点监控稀疏标签的真阳性率（召回率）：

  • 训练时加入针对稀疏标签的召回率指标，比如：

    # 假设稀疏标签的索引是[6,8,10]
    sparse_indices = [6,8,10]
    metrics = [tf.keras.metrics.Recall(name=f'recall_{i}', class_id=i) for i in sparse_indices]
    model.compile(optimizer='adam', loss=weighted_bce, metrics=metrics)
    

  • 用宏F1分数、加权F1分数或者AUROC来评估整体性能，这些指标对不平衡数据更友好。

• 数据层面的微调
  不用全局欠采样高频标签，而是针对稀疏标签的正样本做过采样：

  • 手动复制稀疏标签为1的样本，或者用多标签专用的过采样方法（比如ML-SMOTE），提升稀疏标签正样本的占比，让模型有更多机会学习这类样本的特征。
  • 注意别过度过采样，避免模型过拟合这些重复样本。

• 模型结构与训练策略优化

  • 加入注意力机制：在输出层前添加注意力层，让模型自动关注和稀疏标签相关的输入特征，比如用简单的注意力权重层对输入特征加权。
  • 动态调整权重：训练过程中逐步提高稀疏标签的损失权重，比如前10个epoch用均衡权重，之后每5个epoch把稀疏标签权重提升10%，让模型先学习基础模式，再聚焦稀疏标签。
  • 早停策略：把监控指标从整体损失换成稀疏标签的召回率，当召回率连续几个epoch不再提升时停止训练，避免模型过度拟合高频标签。

这些方法可以组合使用，比如先加类别权重+调整评估指标，效果不够的话再结合数据过采样或者注意力机制，不用一开始就剔除高频标签。

内容的提问来源于stack exchange，提问作者Viktor