PyTorch训练时权重偶尔不更新，更换损失函数后出现该问题

你提到问题在更换损失为MAE+RMSE后出现，且是初始化时概率触发，符合以下几种典型场景：

• 损失函数数值不稳定导致梯度消失
  RMSE的梯度计算公式为 (y_pred - y) / sqrt(MSE)，当批次内y_pred和y的差值极小、或者MSE计算出现数值下溢时，梯度会直接变为0；同时MAE的梯度为固定±1，若两者梯度刚好在初始化阶段抵消，也会导致整体梯度为0，权重不更新。
• 损失曲面平坦区域陷阱
  MAE+RMSE组合的损失曲面存在大量平坦的鞍点或局部极小值，参数初始化时有4/5的概率落入这类梯度接近0的区域，权重无法更新；剩下1/5的概率落入梯度正常的区域即可正常训练。
• 模型前向逻辑存在标签泄露风险
  你的代码中模型调用写为 y_pred = model(x, y)，将真实标签y作为模型输入。若前向逻辑中存在直接将y映射到输出的分支，在参数初始化不佳时，该分支会被激活，导致y_pred几乎和y完全一致，损失接近0，梯度消失。
• 损失量级不匹配
  若MAE和RMSE的计算结果量级差距过大，会出现单一损失主导梯度，极端情况下会出现梯度整体为0的情况。

• 初始化训练后立即打印第一轮的损失值、所有参数的梯度范数，若问题出现时梯度范数小于1e-6、损失接近0，即可确认是梯度消失问题。
• 计算RMSE时添加极小的平滑项避免数值问题：rmse_loss = sqrt(mse_loss + 1e-8)。
• 单独使用MAE或MSE训练验证，若概率性不更新的问题消失，即可定位为组合损失的适配问题，可给两个损失添加缩放系数对齐量级。
• 检查模型forward逻辑，确认传入标签y的必要性，移除可能存在的标签泄露分支。

内容的提问来源于stack exchange，提问作者Jonathan Couture