TensorFlow训练损失下降但验证及评估效果异常问题求解

你遇到的是模型训练阶段与推理阶段行为不一致的典型问题：fit过程中输出的训练损失、准确率是模型处于训练模式下的计算结果，而验证、evaluate阶段模型自动切换为推理模式，结果出现断崖式下跌，完全不符合同数据集的预期。
该问题90%以上的诱因是模型中包含了训练/推理行为存在差异的层：BatchNormalization（批归一化）、Dropout（随机失活）、Keras内置数据增强层（RandomFlip、RandomCrop等）。

• 优先排查BatchNormalization层配置
  • 如果你自定义了BN层的动量参数，TensorFlow默认值为0.99，若你设置的数值过大（如0.999），会导致全局滑动平均的均值、方差更新极慢，少量epoch下根本没有收敛到训练集的真实统计值，推理时用错误的统计值做归一化，结果完全失效。可临时将动量调整为0.9，同时增加训练epoch数，观察验证准确率是否上升
  • 检查是否错误将BN层的trainable参数设为False，导致训练阶段不会更新滑动平均统计量，推理时使用初始化的随机值做归一化
• 排查数据增强层配置
  • 如果你把随机数据增强层直接写在了模型主体中，训练时增强生效，你看到的训练准确率是模型在增强后数据上的表现，推理时增强层自动关闭，如果模型完全过拟合到了随机增强后的噪声，就会出现原数据集上表现为随机准确率的情况。建议把数据增强逻辑独立出模型主体，仅作用于训练数据生成流程
• 排查损失函数与标签匹配性
  • 检查模型编译时的损失函数是否与标签格式匹配：使用SparseCategoricalCrossentropy时需要传入整数格式的标签，使用CategoricalCrossentropy时才需要传入你当前的one-hot格式标签y_train_oh，标签格式和损失函数不匹配会出现训练过程中损失看起来下降，但实际模型参数更新逻辑错误的问题
• 模式切换测试验证
  • 可以手动将模型切换为训练模式后再执行同数据集评估，代码如下：

  yale_classifier.trainable = True
  yale_classifier.evaluate(x_train, y_train_oh)
  

  如果此时输出的准确率和fit时的训练准确率接近，即可100%确定是训练/推理模式切换导致的问题，按上述前三个方案排查即可
• 后续优化建议
  • 问题定位解决后，建议拆分独立的验证集，避免用训练集直接做验证，防止过拟合问题无法被发现

内容的提问来源于stack exchange，提问作者korn sooksatra