多类别多标签分类问题咨询：200类全连接神经网络训练异常

嘿，我碰到过好几个类似的多标签分类场景，尤其是这种极端类别不平衡的情况——200类里每个样本只有1-2个正标签，模型直接躺平输出全0太常见了。结合你用的是sigmoid激活，咱们一步步来拆解解决：

1. 先搞定损失函数——核心问题所在 #

你现在大概率用的是普通的二元交叉熵，但这种损失会因为负标签占比太高（198+个负标签vs1-2个正标签），让模型觉得“输出全0就能轻松拿高分”。得给正样本加权重，或者换专门的不平衡损失：

• 带类别权重的二元交叉熵：计算训练集中正标签的总占比，给正样本设置更高的权重，比如正样本数是pos，负样本是neg，权重就设成neg/pos。用代码举个例子（比如TensorFlow/Keras）：

  import numpy as np
  pos_count = np.sum(y_train)
  neg_count = y_train.size - pos_count
  class_weight = {0: 1.0, 1: neg_count / pos_count}
  model.fit(X_train, y_train, class_weight=class_weight)
  

  这样模型会更重视正标签的预测，不会一味偏向全0。
• 试试Focal Loss：这是专门对付类别不平衡的“神器”，它会降低那些容易分类的负样本的权重，逼着模型去关注难搞的正样本。公式里的γ参数通常设为2，α参数就是刚才说的类别权重，很多框架都有现成的实现，或者自己写也不难。

2. 别死磕0.5的阈值——灵活调整 #

Sigmoid默认用0.5来判断是0还是1，但在你这种场景下，模型输出的正标签概率可能本来就很低，根本到不了0.5。你可以在验证集上试试更低的阈值，比如0.1或者0.2，只要能让正标签的召回率上去就行：

y_pred = model.predict(X_val)
# 把阈值调到0.1试试
y_pred_bin = (y_pred > 0.1).astype(int)

要是想更精准，就画个PR曲线，找到能平衡精确率和召回率的最优阈值。

3. 数据层面也能帮上忙 #

• 过采样正样本：把那些带正标签的样本多复制几份，或者用SMOTE这类算法生成一些合成的正样本（不过多标签场景下要注意别生成不合理的样本）。这样能让正负样本的比例更均衡，模型不会只盯着负样本。
• 欠采样负样本：如果你的数据集特别大，可以随机删掉一部分负样本，减少负样本的压倒性优势。不过这招要谨慎，别丢了太多有用信息。

4. 模型和训练细节调一调 #

• 加正则化防过拟合：不平衡数据很容易让模型过拟合到负样本，给全连接层加个L2正则化，或者插几个Dropout层，比如Dropout(0.5)，让模型别太“偷懒”。
• 换隐藏层激活函数：Sigmoid在隐藏层容易梯度消失，换成ReLU或者LeakyReLU会好很多，输出层保留Sigmoid就行（毕竟多标签需要每个输出都是独立的0-1概率）。另外，初始化输出层的偏置时，可以设成log(pos_count/neg_count)，让模型一开始就稍微偏向正样本一点，别直接掉到全0的坑里。
• 调整学习率：学习率太高的话，模型可能一下子就收敛到全0的局部最优；太低又训练太慢。试试用AdamW这种自适应优化器，或者加个学习率衰减。

5. 别再用准确率当指标了！ #

你说“准确率不足99%，表现几乎差于全零预测”——这太正常了！全零预测因为负标签占了99%左右（(200-2)/200=99%），准确率本来就很高。在多标签不平衡场景下，准确率完全没用，得换这些指标：

• 召回率（Recall）：真正的正标签里被模型预测对的比例，这个能直接反映模型有没有抓住正标签
• 精确率（Precision）：模型预测为正的标签里真正是正的比例，防止模型乱猜
• F1分数：精确率和召回率的调和平均，综合看性能
• Hamming Loss：预测错的标签数占总标签数的比例，专门针对多标签的指标

用这些指标才能真正看出模型到底有没有学到东西，而不是被准确率误导。

内容的提问来源于stack exchange，提问作者Garen Zhou