当网络某分支损失系数为0时，梯度与编码器权重变化问题

问题背景 #

假设我们有一个由两个编码器（Enc1、Enc2）和一个解码器（Dec1）组成的串行网络。其中第一个编码器（Enc1）对应损失L1，第二个编码器（Enc2）对应损失L2，解码器（Dec1）对应损失L3，最终总损失公式为：
L = coeff1 * L1 + coeff2 * L2 + coeff3 * L3
coeff1、coeff2、coeff3为各损失的权重系数。当设置coeff2=0时，存在两个疑问：
(i) 对应L2的梯度是否为0？
(ii) Enc2的权重是否会发生变化？

(i) 对应L2的梯度项为0 #

是的。总损失对模型参数的梯度是各分项损失梯度的加权求和，即：
∇L = coeff1*∇L1 + coeff2*∇L2 + coeff3*∇L3
当coeff2=0时，coeff2*∇L2这一项直接归零，L2对应的梯度分量在总梯度中完全没有贡献，相当于L2没有参与梯度计算。

(ii) Enc2的权重不会发生变化 #

不会。模型权重的更新完全依赖于反向传播时传递过来的梯度信号：如果总损失对Enc2权重的梯度为0，那么反向传播到Enc2的梯度就不存在，它的权重自然不会被优化器更新。

从关联关系来看，Enc2的权重仅与L2直接绑定（L1对应Enc1、L3对应Dec1），当coeff2=0时，总损失对Enc2权重的梯度就是0 * ∇L2(Enc2权重)，结果为0，所以Enc2的权重不会有任何变化。

内容的提问来源于stack exchange，提问作者Chandan Gautam