医学X光过咬合多分类CNN模型性能低下问题排查

1. 为何多类别训练时模型性能更差？ #

核心原因集中在数据不平衡和任务复杂度提升两点：

• 类别样本量差异悬殊：C类仅449张，远少于A（1368张）和B（1651张）。多分类训练时，模型会自然偏向样本量多的类别，对C类的特征学习严重不足，导致整体精度被拉低。而两两分类场景下，模型只需聚焦两类差异，即使样本不平衡，任务难度也远低于多分类。
• 类别间特征混淆加剧：B-C两两分类精度仅33%，说明这两类本身特征差异极小（比如过咬合程度接近的类别）。多分类时，模型需要同时区分A、B、C三类，原本就模糊的B-C边界会进一步混淆，导致模型无法有效区分所有类别。
• 任务复杂度提升：多分类要求模型捕捉更细微的类别间差异，而二分类只需要区分两类的核心特征，小CNN的特征提取能力不足以应对这种复杂度的提升。

2. 是否数据无效，图像缺乏足够判别信息？ #

数据并非无效。A-C二分类精度达75%，A-B也有56%（均高于随机概率），说明图像中存在可用于区分类别的有效特征。但B-C的低精度可能反映两个问题：

• 这两类的过咬合程度本身差异极小，特征区分度低；
• 标注存在模糊性（比如类别边界的标注标准不统一），导致模型无法学习到稳定的判别特征。

3. 图像数量是否过少，无法训练合格模型？ #

当前3500张样本对于多分类任务来说确实偏少，尤其是C类样本量不足。但两两分类的结果证明，现有数据足以训练出有效的二分类模型。多分类需要更多样本来覆盖各类别的特征分布，后续加入17000张数据后，样本量瓶颈会得到缓解，但前提是先解决类别不平衡和模型能力的问题。

4. CNN深度是否不足以支持多分类任务？ #

是的，当前的CNN结构过于简单，特征提取能力不足：

• 仅两层Conv2D直接接Flatten，无法捕捉过咬合这种细微结构差异所需的高级特征；
• 缺乏足够的池化层和非线性变换，模型对复杂特征的建模能力有限。

• 解决类别不平衡：针对C类做针对性数据增强（比如增加旋转、平移、zoom的幅度），或者使用加权交叉熵损失（比class_weight更直接地平衡类别权重）；
• 升级模型结构：增加Conv层数量（比如堆叠3-4组Conv+Pooling），或采用轻量化预训练模型（比如MobileNet、ResNet50的轻量化版本）做迁移学习，复用预训练的特征提取能力；
• 分层分类策略：先训练二分类模型区分差异大的类别（比如A vs 非A），再对非A样本训练B/C的二分类模型，降低单模型的任务复杂度；
• 检查标注质量：确认B、C类的标注边界是否清晰，排除标注噪声对模型的干扰。

内容的提问来源于stack exchange，提问作者FrenchMajesty