TensorFlow使用Gradient Tape及jacobian计算梯度全为0如何解决

梯度全为0的核心原因是inputB对应的计算路径上存在ReLU激活截断，导致梯度流中断：

• inputB进入模型后首先经过Dense(2, activation="relu")层，如果该层的输入经过线性计算后所有值均小于0，ReLU会将输出全部置为0，此时反向传播的梯度无法回传到inputB，最终得到的梯度就会全为0。
• 后续拼接后的Dense(4, activation="relu")层如果出现输出全为0的情况，也会导致梯度截断，出现同样的问题。

1. 替换inputB路径上的ReLU激活
   将inputB关联层的ReLU激活替换为带泄漏的LeakyReLU，或者暂时改为线性激活验证梯度是否恢复，修改参考：

# 原代码
a1 = Dense(2, activation="relu")(inputB)
c2 = Dense(4, activation="relu")(c1)
# 修改后
a1 = Dense(2, activation=tf.keras.layers.LeakyReLU(alpha=0.2))(inputB)
c2 = Dense(4, activation=tf.keras.layers.LeakyReLU(alpha=0.2))(c1)

2. 排查中间层输出
   梯度计算时打印a1、c2层的输出值，如果输出全为0即可确认是ReLU截断问题。
3. 标准化inputB输入
   将inputB的数值缩放到-1_1或者01的合理范围，避免输入值过大/过小导致经过Dense层后直接落入ReLU的负区间被截断。
4. 确认梯度监控生效
   可以在GradientTape上下文内打印tape.watched_variables()，确认inputB已经被梯度带正确监控，排除监控失效问题。

内容的提问来源于stack exchange，提问作者MAN-MADE