为何我的TensorFlow模型需要极高学习率才能收敛？

这类模型完全不需要这么高的学习率，你的问题主要出在几个关键设置疏漏上：

1. 损失函数与输出层的搭配错误 #

你使用mean_squared_error（均方误差）作为损失函数，同时最后一层采用softmax激活。这种组合的梯度特性极差：当softmax输出接近0或1时，MSE的梯度会趋近于极小值，导致小学习率下模型参数几乎无法更新，只有靠超大学习率才能勉强推动参数变化。

对于分类任务，搭配softmax的标准损失是CategoricalCrossentropy（适配one-hot编码标签），它的梯度计算更贴合分类任务逻辑，能有效避免梯度消失问题。

2. Sigmoid激活的梯度消失问题 #

隐藏层使用sigmoid激活函数，它的梯度在输入绝对值较大时会快速趋近于0，同样会导致小学习率下参数更新缓慢。换成ReLU（或其变体，比如LeakyReLU）能显著缓解梯度消失，让模型在常规学习率下正常收敛。

3. 优化器与训练批量的适配问题 #

你用了基础SGD优化器，同时设置batch_size=1000（等于全数据集），这相当于批量梯度下降，本身收敛速度就远慢于小批量SGD。如果换成Adam优化器，它自带自适应学习率调整，在0.001左右的常规学习率下就能快速收敛。

修正后的示例代码 #

调整后可在常规学习率下正常收敛：

def gen_model():
    return tf.keras.models.Sequential([
        tf.keras.Input(shape=(28,28,)),
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(128, activation='relu'),  # 替换sigmoid为ReLU
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    
model = gen_model()
# 替换损失为分类交叉熵，使用Adam优化器
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), 
              loss='CategoricalCrossentropy')
model.summary()
model.fit(x_train, y_train, batch_size=32, epochs=20)  # 改用小批量训练

补充说明 #

即使坚持使用SGD，调整损失和激活函数后，设置learning_rate=0.1左右也能正常收敛，完全不需要用到5这么大的数值。超大学习率反而容易导致模型训练不稳定，出现震荡甚至发散的情况。

内容的提问来源于stack exchange，提问作者finlay morrison