tf.Keras中update_step()函数的梯度类型咨询：批次全梯度或单样本梯度？

• 结论：update_step()使用的是批次内所有样本的梯度经过聚合（通常是平均）后的完整批次梯度，而非单个样本的梯度。
• 具体逻辑：
  1. tf.Keras训练时，会先计算批次内每个样本的损失值，再通过损失函数默认的聚合方式（比如Mean）得到整个批次的总损失。
  2. 基于这个批次总损失对模型变量求导，得到的梯度就是所有样本梯度的平均值（如果损失用的是求和，那就是梯度的总和）。
  3. 优化器的update_step()方法接收的正是这个聚合后的梯度，以此完成一次变量更新。
• 补充说明：如果将batch_size设为1，此时批次仅包含单个样本，update_step()使用的就是该单个样本的梯度——这本质是批量梯度下降的极端情况，逻辑和批量更新完全一致，只是批次大小为1。

内容的提问来源于stack exchange，提问作者DaliMidou