基于ResNet50的多标签分类模型仅预测单标签问题排查

你的问题根源主要在数据集，其次是训练配置，和模型架构（ResNet50或自定义CNN）关系不大，具体拆解如下：

核心问题：数据集的局限性 #

• 你当前的数据集每张图像仅包含单一类别，模型在整个训练过程中完全没有接触过「多标签共存」的样本，它根本学不到“一张图可以对应多个标签”的模式，推理时自然只会输出概率最高的单个标签。
• 数据集规模小会进一步放大这个问题：模型连单标签场景的泛化能力都不足，更别提学习多标签这种更复杂的关联模式了。

必须检查的训练配置错误 #

换了模型架构仍出现同样问题，大概率是训练时的核心配置不符合多标签分类要求：

• 输出层激活函数：多标签分类必须用sigmoid（每个标签独立输出0-1的概率），如果用了softmax，它会强制所有标签的概率和为1，模型会自动倾向于只选概率最高的单个标签，这是你当前问题的关键诱因之一。
• 损失函数：要使用binary_crossentropy（二分类交叉熵，每个标签独立计算损失），不能用categorical_crossentropy（多分类交叉熵，仅适用于单标签场景）。
• 评估指标：优先用binary_accuracy评估，普通的accuracy指标不适合多标签任务。

具体解决步骤 #

1. 补充多标签样本：
   • 收集或合成一批包含多个类别的图像（比如把不同类别的物体图像叠加，调整透明度生成合成样本），让模型在训练时能学习到多标签共存的特征。这是解决问题的核心前提。
2. 修正训练配置：
   • 调整模型输出层为Dense(num_classes, activation='sigmoid')
   • 编译时设置loss='binary_crossentropy'，搭配metrics=['binary_accuracy']
3. 优化小数据集的训练效果：
   • 用ResNet50做迁移学习时，冻结前几层预训练权重，只训练顶层的分类器层，避免小数据集下过拟合。
   • 对现有单标签样本做数据增强（随机翻转、裁剪、颜色抖动等），提升模型的泛化能力。

内容的提问来源于stack exchange，提问作者Ekagra Sinha