tf.GradientTape梯度匹配变量规则及梯度正确性校验方法咨询

tf.GradientTape会在上下文生效范围内，自动记录所有涉及tf.Variable（模型可训练变量默认是该类型且标记了可训练）的运算流，构建完整的前向计算图：

• 只要你的模型前向推理、自定义损失计算的全流程都在tape的上下文范围内完成，且所有运算都是TensorFlow可微分的内置算子（或注册了自定义梯度的算子），tape就会通过链式法则自动计算损失对每个可训练变量的偏导
• gradient方法返回的梯度列表顺序和你传入的model.trainable_variables顺序完全一一对应，调用optimizer.apply_gradients(zip(梯度列表, 模型可训练变量列表))时会自动完成梯度和对应变量的绑定，不需要手动指定映射关系。如果某变量未参与损失计算链路，对应位置的梯度会返回None。

你可以通过以下几个维度依次校验：

• 梯度存在性校验：打印gradient方法返回的梯度列表，确认所有位置的梯度都不为None，如果出现None说明对应变量未被纳入损失计算链路，需要排查自定义损失的运算逻辑是否有脱离TensorFlow计算图的部分
• 数值梯度对比校验：调用tf.test.compute_gradient接口，分别计算数值梯度（通过微小扰动变量计算损失变化得到的近似梯度）和自动微分得到的解析梯度，两者的误差控制在1e-5以内即可判定梯度计算正确，示例调用逻辑：tf.test.compute_gradient(前向计算函数, 输入张量列表, delta=1e-6)
• 小样本过拟合验证：取2_{3个固定的输入样本，连续训练10}20个step，观察损失是否能快速下降到接近0的极小值，如果损失可以正常收敛，说明梯度更新的方向和数值都是正确的
• 梯度数值合理性校验：打印梯度的均值、最大最小值，确认没有出现梯度爆炸（梯度绝对值大于1e3）或者梯度消失（梯度绝对值小于1e-6）的异常情况，避免后续训练失效

内容的提问来源于stack exchange，提问作者OK 400