TensorFlow中的SGD优化器是否针对每个数据点执行一次参数更新？

首先澄清你遇到的定义分歧：

• 原始版本的狭义SGD的“随机”，确实指的是每一轮迭代随机抽取1个单独的训练样本计算损失和梯度，立刻执行参数更新，这就是你看到的“每个数据点做一次小幅参数更新”的来源，这种实现的批次大小固定为1。
• 现在工业界和教程里常说的广义SGD通常包含小批量随机梯度下降（Mini-batch SGD），这种场景下的“随机”指的是每一轮迭代从训练集中随机抽取一个固定大小的样本子集（也就是batch）计算梯度再更新参数，你最初理解的“每个批次内随机选取样本”就是这个场景的描述。

TensorFlow中的SGD实现逻辑 #

TensorFlow 提供的tf.keras.optimizers.SGD是通用的梯度下降更新执行器，本身不限制每次计算使用的样本量，具体运行模式完全由你传入的训练数据批次大小决定：

• 如果你每次输入优化器的是单个样本（batch size = 1），它执行的就是原始单样本SGD更新逻辑
• 如果你每次输入的是包含N个样本的批次（batch size = N > 1），它会先计算这个批次所有样本的平均损失，再基于平均损失计算梯度执行参数更新，也就是小批量SGD

你可以通过调整模型训练时的batch_size参数直接切换运行模式，示例代码如下：

import tensorflow as tf

# 初始化SGD优化器，可按需设置学习率、动量等超参数
sgd_optimizer = tf.keras.optimizers.SGD(learning_rate=0.001, momentum=0.9)

# 假设使用简单的全连接模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(10,)),
    tf.keras.layers.Dense(1)
])
model.compile(optimizer=sgd_optimizer, loss='mse')

# 生成测试数据
x = tf.random.normal((1000, 10))
y = tf.random.normal((1000, 1))

# batch_size=1时就是原始单样本SGD
model.fit(x, y, batch_size=1, epochs=5)

# batch_size=32时就是小批量SGD
# model.fit(x, y, batch_size=32, epochs=5)

内容的提问来源于stack exchange，提问作者Mastiff