简易神经网络梯度更新异常：减梯度×学习率后误差反而上升

核心原因：梯度符号完全反转 #

你遇到的情况本质是计算出的梯度方向和真实的损失上升方向完全相反，导致常规的梯度下降更新变成了「梯度上升」，反过来加梯度才是真正的梯度下降。具体可能的触发点如下：

1. 损失函数定义错误 #

如果你的损失函数被误定义为「负的误差值」（比如把MSE写成loss = -(y_true - y_pred)**2而非(y_true - y_pred)**2），那么损失函数对参数的梯度符号会完全反转——此时你计算出的梯度指向损失减少的方向，而非上升方向，自然常规的参数-梯度×学习率会让损失上升。

2. 反向传播时梯度计算符号错误 #

这是最常见的细节问题：

• 计算损失对预测值的导数时符号出错：比如MSE损失的导数应该是2*(y_pred - y_true)（损失随预测值变化的速率），如果你写成2*(y_true - y_pred)，梯度符号直接反转。
• 激活函数反向传播的导数符号错误：比如sigmoid的导数是sig_output * (1 - sig_output)，如果误加负号，会导致链式传递后的整体梯度符号反转。
• 链式法则的符号传递失误：比如在多层网络中，某一层的梯度传递时漏加或多添了负号，最终导致输出的参数梯度方向完全相反。

3. 排除学习率过大的可能 #

如果是学习率过高，两种更新方式都会出现损失震荡或上升，但你加梯度时损失正常下降，所以这个原因可以直接排除。

代码排查建议 #

• 先单独验证损失函数的计算：用一组固定的真实值和预测值，手动计算损失，对比代码输出是否一致。
• 单独计算梯度的符号：拿一个简单的参数（比如单神经元的权重），手动计算损失对该参数的梯度方向，再对比代码中算出的梯度方向是否一致。
• 逐步检查反向传播的每一步：从损失层开始，逐层往前验证梯度的符号和数值，找到符号反转的环节。

内容的提问来源于stack exchange，提问作者Anonymous