基于线性回归的GD与SGD算法Python实现及结果问询

嘿，这个问题特别典型，先给你拆解清楚：

首先，你的SGD输出RMSE出现波动，这本身是SGD的固有特性——因为随机梯度下降每次只拿单条样本计算梯度，梯度的估计方差非常大，所以损失值（RMSE）自然会上下跳动，不像全批量GD那样平滑下降。但如果你的RMSE序列完全没有整体下降的趋势（比如一直忽高忽低甚至持续上升），那才说明实现可能存在问题。

先排查可能的实现问题 #

• 学习率设置不当：全批量GD的学习率通常不适合SGD。如果学习率太大，SGD会在最优解附近疯狂震荡，甚至直接发散；如果太小，收敛速度会慢到离谱。你可以对比一下自己用的学习率和全批量GD的差异，大概率是学习率偏大了。
• 没有打乱数据集：如果每次迭代都按固定顺序取样本（比如数据本身是按标签或数值排序的），SGD会被局部的数据模式带偏，没法朝着全局最优的方向收敛，RMSE自然会乱跳。必须保证每个epoch前都彻底打乱数据集。
• 权重初始化不合理：如果初始权重设置得过于极端（比如太大的随机值），会导致初始损失极高，后续迭代很难拉回正常范围。建议用小范围的随机值初始化，比如服从N(0, 0.01)的正态分布，或者[-0.01, 0.01]的均匀分布。
• RMSE的计算时机不对：你给出的RMSE序列，如果是每更新一次权重（单样本后）的结果，那波动是正常的；但如果是每个epoch遍历完所有样本后的结果，那波动过大就有问题了——正常来说，epoch级的RMSE应该有明显的整体下降趋势，只是比全批量GD的波动更大。

优化RMSE表现的具体方法 #

• 调整学习率策略：
  • 先尝试用全批量GD学习率的1/10~1/100作为SGD的初始学习率；
  • 采用学习率衰减：比如每经过5-10个epoch，将学习率乘以0.9之类的衰减因子；或者直接用自适应学习率方法（比如Adagrad、Adam，这属于进阶版的SGD变种，能自动调整学习率）。
• 改用Mini-Batch SGD：这是工业界最常用的方案——每次用一小批样本（比如32、64、128个）计算梯度，既保留了SGD的高效性，又大幅降低了梯度噪声，RMSE的波动会小很多，收敛速度也更快。
• 添加动量（Momentum）：动量可以让SGD“记住”之前的梯度方向，减少震荡，加快收敛。核心公式大概是：

  v = beta * v + (1 - beta) * gradient  # beta通常取0.9
  weights = weights - lr * v
  

  这样能让SGD在梯度一致的方向上加速，在震荡方向上减速。
• 标准化特征数据：如果你的输入特征尺度差异很大（比如一个特征是0-1，另一个是0-1000），SGD会在大尺度特征的方向上剧烈震荡。先对所有特征做标准化（均值为0，方差为1），能让SGD的收敛过程稳定很多。
• 增加迭代次数：SGD的收敛速度通常比全批量GD慢，需要更多的迭代次数才能接近最优解。如果你的迭代次数太少，RMSE可能还没降到理想范围就停止了。

内容的提问来源于stack exchange，提问作者Dejan Samardžija