使用Keras训练CNN模型时验证损失异常偏高是什么原因？

• 损失函数与标签格式、输出层配置不匹配
  多分类任务下，若标签为整数格式却使用CategoricalCrossentropy，或标签为one-hot格式却使用SparseCategoricalCrossentropy，会导致交叉熵计算逻辑错位；二分类任务下若输出层用2神经元softmax却搭配BinaryCrossentropy也会出现同类问题。该场景下准确率计算因仅依赖输出的argmax结果不受影响，损失数值会异常升高。
• 损失计算逻辑未对齐训练配置
  若输出层未添加softmax激活却没有在损失函数中设置from_logits=True，会因softmax数值饱和导致log(0)类的数值溢出，拉高损失；训练时使用了标签平滑策略但验证损失仍基于硬标签计算、自定义损失时错误将训练阶段才生效的正则项纳入验证损失计算，也会出现损失偏高但准确率正常的情况。
• 验证集预处理与训练集不一致
  验证集未执行和训练集完全对齐的归一化、标准化、图像预处理逻辑，或是错误执行了仅训练阶段使用的随机增强策略，会导致模型在验证集上的输出置信度普遍偏低，虽然预测类别仍然正确（准确率正常），但交叉熵损失会因置信度不足被拉高。
• 批量归一化层统计量未收敛
  BatchNormalization层验证阶段会使用训练过程累计的滑动平均统计量做归一化，若训练轮次太少、动量设置不合理，滑动平均的均值和方差还没收敛，会导致验证阶段输出分布偏移，损失升高但准确率受影响较小。
• 类别不平衡+易分样本占比高
  若验证集中绝大多数样本为易分类样本，少量难分样本的极高损失会直接拉高整体验证损失，但易分样本的正确预测可以保证整体准确率维持在较高水平。

内容的提问来源于stack exchange，提问作者G93