TensorFlow训练进度条损失值与自定义损失打印值不匹配问题

核心原因 #

• 统计口径差异：Keras进度条默认展示的是训练启动以来所有batch损失的滑动平均值，并非当前batch的实时损失。你手动打印的是当前步自定义损失的即时输出，二者统计维度完全不同。你给出的示例中进度条损失从15逐步下降到7+，正是初始高损失被后续低损失逐步平滑的典型表现。
• 损失归约逻辑不匹配：你自定义损失返回的是shape为(1,)的张量，而Keras默认会对batch内所有样本的损失做归约计算。如果你在自定义损失中已经做了batch维度的平均，Keras的默认归约逻辑会再次对损失做求和/平均处理，最终导致数值出现量级差。从你给出的示例来看，打印损失在0.15左右，进度条损失在15左右，量级差刚好为100倍，大概率是你的batch size为100，Keras默认对单样本损失做了求和导致的。
• 正则损失自动叠加：如果你的模型添加了核正则、偏置正则等正则化项，Keras计算总损失时会自动叠加这些正则损失，而你手动打印的只有自定义损失函数的输出，不含正则项，也会导致数值差异。

修复方案 #

• 定义自定义损失时明确指定归约策略：如果你已经在损失内部做了batch维度的归约，要添加参数reduction=tf.keras.losses.Reduction.NONE，避免Keras重复归约。
• 验证损失计算逻辑：在model.compile时开启run_eagerly=True，在训练循环中打印Keras计算的总损失，和你自定义损失的输出做对比，确认是否有额外损失项被叠加。
• 若需要进度条展示单步实时损失，可以自定义回调函数，在每步训练结束后替换进度条的损失统计值，关闭滑动平均逻辑。

内容的提问来源于stack exchange，提问作者Marc Felix