带目标损失反向传播的梯度下降无法最小化损失问题排查

核心矛盾：损失函数、激活函数与标签体系不匹配 #

你遇到的问题本质是标签范围、激活函数输出范围、损失函数导数实现三者不兼容，具体拆解为以下几点：

1. 损失函数导数的设计适配错误 #

当标签是-1/1、激活函数用tanh时，你需要对应适配双极标签的损失函数（比如双极交叉熵、修正后的MSE），但如果你的calculate_loss函数沿用了适合0/1标签的损失导数逻辑，就会出现梯度方向错误：

• 举个例子，适合0/1标签的二元交叉熵损失导数是pred - y（基于损失公式-y*log(pred) - (1-y)*log(1-pred)），但如果把y=-1代入，得到的梯度是pred +1，而tanh输出的pred范围是(-1,1)，这个值恒正，会导致参数更新方向完全错误，损失持续上升。
• 换成sigmoid+0/1标签时，这个导数公式刚好适配，梯度方向正确，所以能正常收敛。

2. 激活函数输出与标签范围的匹配逻辑偏差 #

tanh的输出范围是(-1,1)，理论上和-1/1标签匹配，但如果你的损失函数没有针对双极输出做调整，会出现计算逻辑错误：

• 比如用MSE损失时，针对-1/1标签的损失梯度应该是2*(pred - y) * (1 - pred^2)（因为tanh(z)的导数是1 - tanh(z)^2）。如果代码里漏乘了tanh的导数项，或者错误使用了sigmoid的导数公式pred*(1-pred)，就会导致梯度计算错误，参数更新失效。

3. 梯度更新的符号错误 #

梯度下降的核心是沿着负梯度方向更新参数，如果代码中错误地用正梯度而非负梯度更新参数，就会导致参数往损失增大的方向走：

• 比如正确逻辑是w = w - lr * grad，如果写成w = w + lr * grad，在tanh+±1场景下，错误的符号会被放大，损失快速上升；而sigmoid+0/1场景下可能因初始梯度较小，暂时没暴露问题，或者你换激活函数时无意中修正了符号。

修复方案 #

1. 适配双极标签的损失函数导数：
   若继续用tanh和-1/1标签，可使用双极交叉熵或修正后的MSE梯度。示例代码片段：

   def calculate_loss(pred, y):
       # MSE损失的梯度计算（适配-1/1标签 + tanh）
       mse_grad = 2 * (pred - y)
       tanh_grad = 1 - pred ** 2
       total_grad = mse_grad * tanh_grad
       return total_grad
   

2. 检查梯度更新符号：确保参数更新是参数 = 参数 - 学习率 * 梯度，而非加号。
3. 验证初始参数设置：避免初始参数过大导致tanh提前饱和，不过你的情况更可能是前两个问题。

内容的提问来源于stack exchange，提问作者Xascoria Dung