TensorFlow参数权重更新与梯度计算不符问题排查及解决

最近碰到个挺闹心的TensorFlow问题，折腾了好一会儿才搞明白，跟大家唠唠：

问题场景 #

• 初始参数向量：w = [-1.34554319, 0.86998659, 0.52366061, 2.6723526 , 0.18756115, 0.16547382]
• 用compute_gradients算出的梯度：dw = [-0.0251517 , 0.88050844, 0.80362262, 0.14870925, 0.10019595, 1.33597524]
• 学习率设为0.1，按照公式w_new = w - 0.1 * dw手动计算了预期的参数更新结果，但实际运行后，模型参数的变化和预期完全对不上。

问题根源 #

排查了一圈才发现，问题出在梯度计算和优化器更新使用了不同的训练样本：调用compute_gradients时用的是某一批训练数据，而后续执行优化器更新步骤时，又加载了新的一批样本，导致两次操作的数据集上下文不一致，自然实际的参数更新就和手动基于单次梯度计算的预期结果不符了。

总结 #

如果遇到类似参数更新不符合预期的情况，先检查梯度计算和优化器更新是否绑定了同一批训练数据，确保两次操作的数据集是一致的，就能避免这种“算对了公式但结果不对”的坑。

内容的提问来源于stack exchange，提问作者anon