线性回归Mini-batch实现：训练/测试误差曲线异常及平滑度问题

可能的原因 #

• 训练集与测试集分布高度重合：如果数据划分时未做随机打乱，或者数据集本身的特征、标签分布过于一致，两个误差曲线自然会几乎重叠。
• 误差计算粒度错误：若每次迭代仅计算单个样本的误差（而非全量/批次的均方误差），单样本的随机波动会直接导致曲线 jagged（不平滑）。
• 梯度下降批次选择问题：使用随机梯度下降（SGD）时，每次仅基于单个样本更新参数，误差曲线出现大幅波动是该方法的固有特性。
• 学习率设置不合理：即使调整过学习率，若学习率过大，参数会在最优值附近反复震荡；若学习率过小，模型可能还未收敛就因最小迭代次数限制停止，曲线也会呈现不稳定状态。
• 特征未做预处理：特征值范围差异过大时，梯度更新的幅度会失衡，引发误差曲线的剧烈波动。

解决建议 #

• 优化数据集划分：使用训练测试拆分工具时开启随机打乱（如train_test_split(shuffle=True)），分类场景需添加分层参数保证分布合理性，让训练、测试集存在合理差异。
• 调整误差计算逻辑：每次迭代计算全量训练集/测试集的均方误差（MSE），而非单样本误差，能大幅提升曲线平滑度。
• 切换梯度下降变体：将随机梯度下降替换为小批量梯度下降（如每次取32、64个样本）或批量梯度下降，平衡参数更新速度与曲线平滑度。
• 优化学习率策略：摒弃固定学习率，尝试学习率衰减（如每100轮迭代将学习率乘以0.9）；若坚持用固定学习率，可在1e-4到1e-2的区间内精细调试。
• 特征预处理：对特征做标准化（(X - 均值)/标准差）或归一化（缩至0-1区间），让梯度更新更稳定，减少误差波动。
• 增加迭代次数：若当前最小迭代次数不足以让模型收敛，适当提高迭代次数，直到误差曲线趋于平稳。

内容的提问来源于stack exchange，提问作者BORED CROW