TensorFlow打印的loss是单批次损失还是历史批次的移动平均损失？

普通批次场景下的loss含义 #

你看到的默认输出INFO:tensorflow:loss = 1.9433185, step = 11 (0.300 sec)里的loss，不是当前单批次的实时损失，是训练启动后最近100个批次损失的移动平均结果。
TensorFlow原生训练接口（尤其是早期版本的Estimator、旧版Keras训练日志）默认做了损失平滑处理，避免单批次数据波动导致loss数值跳变过大，方便观测训练整体趋势。

batch size=1场景下的loss含义 #

就算每个批次只有1个样本，默认打印的loss依然是移动平均结果，不是当前单个样本的实时损失。
只有你手动调整了日志的损失计算逻辑，将移动平均窗口大小修改为1时，打印的数值才会和当前单样本的损失完全一致。
如果需要获取单批次/单样本的实时损失，建议自己在训练循环中主动打印当前step的loss计算值，不要直接依赖默认的INFO日志输出。

内容的提问来源于stack exchange，提问作者ak_stack