在Python中实现向量化Gradient Descent时遭遇Overflow Error求助

我之前也碰到过类似的情况——哪怕数据集数值不算大，梯度下降过程中还是突然触发了溢出错误，下面给你几个排查和解决的方向：

最可能的诱因：学习率设置过大 #

这是梯度下降溢出最常见的原因。哪怕数据量级可控，只要学习率（learning rate）太高，参数更新的步长就会变得异常夸张，导致参数值在迭代中急剧膨胀，最终触发数值溢出。建议你先把学习率调得极小试试，比如从1e-4甚至1e-5开始，观察损失值的变化：如果损失值一开始就飙升到天文数字，那基本就是学习率的锅。后续可以慢慢微调增大，或者用学习率衰减策略（比如每迭代100轮就把学习率乘以0.9）。

检查数据是否做了标准化/归一化 #

你提到数据数值不大，但如果不同特征的尺度差异很大（比如一个特征是0-1，另一个是0-1000），哪怕单个数值不算大，梯度更新也会失衡：尺度大的特征会主导参数更新，导致某些参数突变，累积起来就容易溢出。建议对所有输入特征做Z-score标准化（让每个特征均值为0，方差为1）或者Min-Max归一化（缩放到0-1区间），这样所有特征在同一尺度上，梯度更新会稳定很多。

排查数值梯度的实现（如果你用了近似梯度） #

你提到避免使用导数，那应该是用了有限差分近似梯度吧？比如用(J(theta + epsilon) - J(theta - epsilon))/(2*epsilon)这种方式。这种情况下要注意两个点：

• epsilon的取值不能太小（比如小于1e-10会触发浮点数精度问题）也不能太大（近似误差会变大），推荐用1e-8左右试试；
• 计算损失函数的时候，有没有可能出现指数爆炸？比如涉及sigmoid、softmax这类函数时，要做数值稳定处理，比如计算sigmoid可以写成：

  def sigmoid(x):
      return np.where(x >= 0, 1 / (1 + np.exp(-x)), np.exp(x) / (1 + np.exp(x)))
  

  避免大的负数输入导致np.exp(-x)溢出。

检查参数初始化和中间变量 #

• 不要把初始参数设得太大，推荐用小方差的随机初始化（比如np.random.normal(0, 0.01, theta_shape)）或者直接零初始化（线性回归场景下没问题）；
• 加个调试步骤：每迭代几轮就打印当前的参数值、损失值，看看是哪一轮开始数值变得异常大，定位到具体的更新步骤，就能更快找到问题。

如果能贴出你的代码片段，尤其是梯度计算和参数更新的部分，会更容易精准定位问题哦！

内容的提问来源于stack exchange，提问作者user3697597