随机梯度下降(SGD)中代价函数上升是否属于预期现象？

没错，随机梯度下降（SGD）训练过程中代价函数出现上升完全是预期且正常的现象，这和批量梯度下降（BGD）的表现有本质区别，我来给你拆解下背后的原因：

• 梯度计算的本质差异：
  批量梯度下降会遍历整个训练集计算梯度，这个梯度是全局代价函数的无偏估计，代表了整体最优的下降方向——只要学习率设置合理、代码没有bug，代价函数应该是稳步下降的，一旦上升基本就是异常信号。
  而SGD只基于单个训练样本计算梯度，这个梯度只是全局梯度的一个「有偏近似」。单个样本的分布可能和整体训练集的分布存在偏差，它指向的梯度方向不一定和全局收敛方向一致，用这个方向更新参数时，代价函数自然可能临时上升。

• 为什么这种上升是可接受的：
  虽然单次迭代的代价会波动，但随着训练的推进，遍历足够多的样本后，这些有偏的梯度会逐渐收敛到全局梯度的期望方向，参数最终还是会朝着全局最优的方向移动。甚至这种波动还有好处——它能帮助模型跳出局部最优解，避免陷入鞍点。

• 如何区分正常波动和异常情况：
  正常的SGD代价曲线是「在上下波动中整体呈下降趋势」；如果出现连续数十次迭代代价都持续上升，那才需要警惕：可能是学习率设置过大、代码存在逻辑错误，或者训练数据本身有问题（比如标签错误、数据分布异常）。

总结一下：不用纠结单次迭代的代价上升，重点看长期趋势——只要整体是下降的，偶尔的上升完全是SGD的正常特性，完全不需要担心。

内容的提问来源于stack exchange，提问作者André Gomes