PyTorch线性回归：训练数据量增大为何效果变差甚至出现NaN？

PyTorch和Sklearn处理线性回归的底层逻辑完全不同，导致大数据量下表现差异：

1. 优化方式差异：Sklearn的LinearRegression用的是闭式解（最小二乘法），直接通过矩阵运算计算出最优权重，不存在迭代更新的过程，对数据量的鲁棒性极强；而你写的PyTorch代码用的是梯度下降类优化器（比如SGD），需要迭代更新权重，一旦学习率设置不合理或梯度计算不稳定，就会出现权重爆炸、损失NaN的问题。
2. 数据尺度敏感性：梯度下降对输入数据的尺度非常敏感，如果特征值范围大或数值本身过大，大数据量下梯度的累积效应会被放大，直接导致权重更新幅度过大，数值溢出成NaN；而闭式解通过矩阵分解等数值优化方法，对数据尺度的鲁棒性更强。
3. 批量更新的稳定性：如果你的代码是一次性把所有数据喂进去做全量梯度下降，大数据量下梯度计算的数值稳定性会急剧下降，容易出现梯度爆炸；而Sklearn的闭式解针对大规模数据做了数值优化处理，不会有这类问题。

• 调整学习率：降低初始学习率（比如从默认的0.1调到0.001、0.0001），或者使用学习率调度器（如torch.optim.lr_scheduler.StepLR）动态衰减学习率，避免单次更新幅度过大。
• 数据归一化/标准化：对输入特征做预处理，比如用StandardScaler将特征缩放到0均值、1方差的范围，消除数据尺度差异对梯度的影响。
• 改用小批量梯度下降：用torch.utils.data.DataLoader将数据分成小批次（比如batch_size=32或64），每次用小批次数据计算梯度并更新权重，既提升训练稳定性，也能高效处理大数据量。
• 更换优化器：使用自适应学习率的优化器（如Adam）代替SGD，Adam会根据梯度动态调整每个参数的学习率，对初始学习率的敏感度更低，训练更稳定。
• 梯度裁剪：在反向传播后添加梯度裁剪操作，比如torch.nn.utils.clip_grad_norm_(params, max_norm=1.0)，限制梯度的最大范数，防止梯度爆炸导致数值溢出。
• 检查数值溢出点：排查损失计算、权重更新过程中的数值异常，比如如果真实值和预测值差距过大，MSE损失会急剧增大，可先对标签也做适当缩放。

内容的提问来源于stack exchange，提问作者dNyaanopaasak