如何排查sequential模型对X光图像预测错误的原因

• 错误样本归类统计
  将所有预测错误的样本按标注类别、假阳性/假阴性错误类型分组，统计错误是否集中在特定病灶类型、拍摄角度、图像质量的样本上，先锁定错误的共性特征。
• 数据层问题排查
  • 核对错误样本的标注是否准确，排除标注错误、类别标注歧义的问题
  • 对比错误样本和同类别预测正确样本的预处理流程，确认是否存在resize失真、归一化参数异常、数据增强逻辑错误的情况
  • 验证错误样本是否属于训练集分布外数据，比如训练集未覆盖该类病灶形态、拍摄设备/参数和训练集差异过大
• 模型层问题排查
  • 提取错误样本在模型最后2-3层卷积层、全连接层的输出特征，和同类别正确预测样本的特征向量做对比，判断问题出在特征提取阶段还是分类头决策阶段
  • 调用model.summary()打印网络结构，确认是否存在感受野过小、下采样倍率过高导致小病灶特征丢失的结构问题
• 可解释性工具定位根因
  使用Grad-CAM类可视化工具生成模型预测的注意力热力图，直接观察模型决策的依据区域：
  • 如果注意力集中在非病灶区域（比如设备水印、拍摄标记、无关组织），说明模型学到了无关的捷径特征，需要清理训练数据的干扰项、调整正则策略
  • 如果注意力落在病灶区域但分类错误，说明特征区分度不足，需要补充对应类别的训练数据、调整损失函数提升难例权重

内容的提问来源于stack exchange，提问作者Gois