自定义线性回归实现中MSE损失周期性振荡问题排查

以下是针对问题的排查方向和实用解决方案：

• 参数初始化问题：自定义模块的权重/偏置初始化可能过于激进，比如使用了过大的随机值，导致初始损失值极高，优化器更新时参数跳幅过大，在最优解附近来回振荡。官方Linear层默认采用Xavier/Kaiming初始化策略，会将参数控制在合理范围。你可以检查自定义模块的初始化代码，改为与官方一致的逻辑——例如对于输入输出维度均为1的线性层，将权重初始化为接近0的小值，偏置设为0后再尝试训练。

• 梯度计算错误：如果手动实现了反向传播逻辑，很可能存在梯度计算错误，导致参数更新方向混乱。线性层的权重梯度应为输入张量与损失对输出梯度的外积（批量训练时取均值），偏置梯度为损失对输出梯度的均值。可以使用torch.autograd.gradcheck工具验证自定义模块的梯度计算是否正确，或者直接依赖PyTorch的自动求导机制（避免手动编写backward方法），观察损失是否仍出现振荡。

• 学习率设置过高：相同学习率下，自定义模块的初始参数状态可能对学习率更为敏感。官方Linear的合理初始化使其能适应的学习率，在自定义模块上可能因初始参数与最优解差距过大，导致每步更新幅度过大，引发周期性振荡。尝试将学习率降低至原来的1/2或1/10（例如从1e-3调整为1e-4），查看损失曲线是否恢复稳定下降。

• 前向传播逻辑错误：检查自定义模块的forward方法，确认是否误加入了非线性层（如ReLU），或者矩阵乘法的维度匹配错误。线性回归要求输出为纯线性计算：output = input @ weight + bias，任何额外的非线性操作都会改变模型拟合特性，可能引发损失振荡。

• 数据或批量设置问题：如果批量大小过小，每次更新的梯度噪声过大，也会导致损失振荡。此外，输入数据未做归一化处理、数值范围过大，也会影响梯度稳定性。尝试增大批量大小，或对输入数据进行归一化（减去均值后除以标准差），再进行训练验证。

验证时需控制变量：替换自定义模块与官方Linear(1,1)时，保持学习率、优化器、训练数据、迭代次数等所有条件完全一致，以便精准定位问题根源。

内容的提问来源于stack exchange，提问作者RafazZ