为何动量常数微调会极大影响SGD结果？附Keras实验疑问

这是个非常有意思的观察！让我从直觉和SGD的工作原理两方面给你拆解一下：

你可以把动量理解成给SGD优化器加了「惯性buff」——它不仅会参考当前批次计算出的梯度方向，还会保留之前几次更新的“前进方向”。

对于单变量线性回归这种损失函数是凸函数的任务，理论上只要学习率合理，总能收敛到最优解，但实际训练里有两个关键因素在起作用：

• 你的数据大概率带有一定噪声，哪怕是单变量也不例外；
• 你的学习率设置（0.001）本身偏小，还加了decay=100的快速衰减，这意味着训练后期学习率会变得极低，几乎停止更新。

当动量低于0.7时，这个「惯性buff」太弱了：SGD每次更新几乎只盯着当前批次的梯度，就像走路时只看脚下的小坑洼，很容易被数据噪声带偏，更新方向来回震荡。再加上学习率快速衰减，模型还没来得及走到最优权重附近，就因为步长太小“卡”在了离最优值很远的地方，最终的回归效果自然极差，r²波动也大。

而0.7-0.9的动量刚好给了优化过程足够的惯性：它能平滑掉噪声带来的梯度波动，让模型始终朝着损失函数最小值的方向稳步前进——就像骑车时速度起来后，小石子不会轻易让你跑偏，能稳稳地朝着目标走。这也是为什么这个区间内r²能稳定保持在0.95以上。

你的训练参数组合（epochs=25、小学习率+快速衰减）其实让模型的优化过程变得很“脆弱”，动量成了决定最终结果的核心变量，原因有三点：

1. 凸优化中的步长敏感性：虽然线性回归的损失是凸的，但SGD的更新步长是由「当前梯度+动量加权的历史梯度」共同决定的。动量的微小变化（比如从0.6到0.7），会直接改变每一步的更新幅度和方向。在只有25个epoch的情况下，0.7的动量刚好能让模型在学习率衰减到几乎为0前，走到最优值附近；而0.6的动量因为惯性不足，每一步更新太慢，还没到最优就“停步”了。
2. 参数组合的协同效应：小学习率+快速衰减的设置，本来就需要动量来“加速”优化过程。如果动量不够，模型的更新效率极低，甚至会被噪声带偏；而动量稍微达标，就能和学习率衰减形成配合——前期靠动量快速接近最优，后期靠衰减稳定在最优值附近。这种协同关系让动量的微小变化被放大，直接影响最终结果。
3. 噪声的放大作用：如果你的数据噪声比较明显，小动量会让SGD完全跟着噪声走，每一步的更新都偏离真实的最优方向；而动量稍微提高一点，就能过滤掉大部分噪声的影响，让更新方向更贴合真实的梯度。这种“过滤能力”的临界值刚好落在0.7附近，就出现了你看到的“突变”现象。

简单总结一下：动量的本质是用历史更新的惯性来对抗噪声和慢学习率的限制，当它刚好达到能抵消这些负面影响的阈值时，效果会突飞猛进；低于阈值时，模型就会被噪声和慢更新拖垮。

内容的提问来源于stack exchange，提问作者user49404