使用AdamOptimizer优化时出现输入与梯度形状不兼容问题

先给你还原下问题场景：

运行TensorFlow代码用AdamOptimizer做最小化操作时，碰到了运算输入和梯度形状不兼容的错误，报错的堆栈片段是这样的：

Traceback (most recent call last): 
File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/tensor_shape.py", line 579, in merge_with 
new_dims.append(dim.merge_with(other[i])) 
File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/tensor_shape.py", line 138, in merge_with 
self.assert_is_compatible_with(other) 
File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/tensor_shape.py...

咱们一步步来排查和解决这个问题：

最常见的原因：模型参数与损失的维度不匹配 #

这绝对是踩坑最多的点：你定义的模型参数（比如权重矩阵、偏置向量）的形状，和反向传播时损失函数算出的梯度形状对不上。举个例子，要是你的权重是(10, 20)，但梯度算出来是(20,10)或者其他不搭的维度，直接就触发这个错误了。
建议你在代码里加几行打印，或者用tf.shape()输出关键参数和损失的形状，比如：

print("权重形状:", weights.get_shape())
print("损失形状:", loss.get_shape())

先确认这些核心张量的维度是不是符合预期。

检查优化器绑定的变量是否正确 #

有时候你可能不小心把无关变量传给了AdamOptimizer.minimize()的var_list参数，或者变量在定义后动态改了形状但没同步更新。一定要确保var_list里的所有变量，都和损失函数计算路径里的变量完全对应，没有形状错位的情况。

核对输入数据的维度一致性 #

如果你的训练数据batch维度和模型输入层定义的维度不匹配，这个错误会顺着计算图一直传到梯度计算环节。比如模型输入层期望(None, 28,28,1)，但你喂进去的是(None, 784)，后续计算的梯度自然就和参数形状不兼容了。

自定义梯度时的形状错误 #

要是你自己实现了tf.custom_gradient或者自定义操作，一定要仔细检查返回的梯度形状和输入张量的形状完全一致。自定义梯度很容易在这里出错，每一步的维度变化都要核对清楚。

快速调试小技巧 #

可以用tf.debugging.assert_shapes()提前做形状断言，在损失计算和优化器调用之间加这段代码：

tf.debugging.assert_shapes([
    (weights, [10, 20]),  # 替换成你预期的权重形状
    (loss, []),  # 损失一般是标量，所以形状是空列表
])
optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
train_op = optimizer.minimize(loss)

这样能在错误发生前就定位到形状不匹配的节点，比等报错堆栈高效多了。

内容的提问来源于stack exchange，提问作者Srikrishna Bhat