如何构建可识别未知类别、能判定无法分类样本的CNN模型

你遇到的需求本质是解决分布外（OOD）样本检测问题，即识别出不属于训练时3类分布的输入样本，可按照实现复杂度从低到高选择以下方案：

• 置信度阈值法（无需改动原有模型）
  直接对模型输出的softmax概率结果做后处理：提前设定一个置信度阈值（例如0.8，可基于验证集效果调整），若推理时输出的3类概率中最高值低于该阈值，就判定为「无法判定类别」。
  注意：原始softmax输出普遍存在置信度过高的问题，可先通过温度缩放等置信度校准方法对模型输出做校准后再设置阈值，能大幅降低OOD样本的误判率。
• 新增「其他类」重训模型
  收集实际场景中可能出现的、不属于原有3个类别的代表性样本，统一标注为第4类（其他类），和原有3类数据一起重新训练CNN模型。推理时如果第4类的输出概率最高，直接返回无法判定即可。
  该方案效果稳定性更高，前提是你能收集到足够覆盖常见非目标场景的「其他类」样本。
• 特征匹配法
  不改动原有模型，提前用训练集的3类样本过模型提取全连接层前的深层特征，分别计算每个类别的平均特征向量。推理时先提取输入图像的对应特征，计算该特征和3个类别平均特征的余弦相似度，若最高相似度低于预设阈值，就判定为无法识别。该方案的准确率普遍优于单纯的置信度阈值法。
• 专业OOD检测算法
  如果对准确率要求很高，可以选择基于马氏距离、能量得分的专门OOD检测方案，通过计算输入样本和训练集特征分布的匹配度判断是否属于未知类别，不过实现复杂度相对更高。

内容的提问来源于stack exchange，提问作者MU'men Ahmed