TensorFlow预测函数与手动计算结果不符问题排查求助

为理解TensorFlow的计算逻辑，基于MNIST数据集搭建了如下简单模型：

model.add(Conv2D(4, (1, 1), activation='relu', kernel_initializer='he_uniform', padding='valid', strides=1, input_shape = input_shape))
model.add(MaxPooling2D((7, 7), padding='valid'))
model.add(Flatten())
model.add(Dense(10, activation='relu', kernel_initializer='he_uniform'))

随后提取模型权重与偏置，手动计算预测结果：

cnn = np.zeros((4,2))

for f in range(0,4):
  cnn[f][0] = model.layers[0].weights[0][0][0][0][f]
  cnn[f][1] = model.layers[0].bias[f]

print(cnn)

nn = np.zeros((10,65))
for f in range(0,10):
  for i in range(0,64):
    nn[f][i] = model.layers[3].weights[0][i][f]
  nn[f][64] = float(model.layers[3].bias[f])

print(nn)

max=np.zeros((4,4,4))
out=np.zeros(10)

#Conv2D
for f in range(0,4):
  for y in range(0,28):
    for x in range(0,28):
      #Calculate convolution for pixel with one weight and bias
      d = test_data[0][y][x][0] * cnn[f][0] + cnn[f][1]
      #Only keep maximum value in 7x7 area -> Max Pooling
      if max[f][int(y/7)][int(x/7)] < d:
        max[f][int(y/7)][int(x/7)] = d

#Dense
for o in range(0,10):
  #Add Bias
  out[o] = nn[o][64]
  for f in range(0,4):
    for y in range(0,4):
      for x in range(0,4):
        #Apply weight to output from Max Pooling
        out[o] = out[o] + max[f][y][x] * nn[o][y*16+x*4+f]
    #ReLu
    if out[o] < 0:
      out[o] = 0

但手动计算结果与TensorFlow预测函数的输出存在差异，例如：

my calculation -> tensorflow
0.4958455 -> 0.4100589
0.0
0.3867072 -> 0.3395536
0.3473713
0.5230042 -> 0.2298216
0.7953386 -> 0.7953387
0.6598828 -> 0.5722865
1.6494241
0.6117965 -> 0.5601089
1.4232064

疑问：

• 是否遗漏了特定操作？
• TensorFlow计算逻辑或get_weights()权重顺序是否有官方文档？
• 能否通过分层计算验证卷积层等的输出差异？

一、可能遗漏的核心操作 #

最关键的遗漏是卷积层后的ReLU激活时机：

• 你搭建的Conv2D层指定了activation='relu'，意味着TensorFlow会先对卷积输出（加权+偏置）执行ReLU激活，再将结果传入后续的MaxPooling层。
• 但你的手动计算中，仅在Dense层后做了ReLU，卷积后的d值直接用于MaxPooling的最大值比较，完全跳过了ReLU激活步骤。这会导致MaxPooling的输入值和TensorFlow不一致，最终输出差异。

修正方法：在计算d后立即应用ReLU：

d = test_data[0][y][x][0] * cnn[f][0] + cnn[f][1]
d = max(d, 0)  # 添加这行代码，模拟Conv2D的relu激活
if max[f][int(y/7)][int(x/7)] < d:
  max[f][int(y/7)][int(x/7)] = d

另外还需注意：

• 张量维度顺序：检查Flatten后的元素索引是否和TensorFlow一致。TensorFlow中(4,4,4)的特征图（height, width, channels）Flatten后，元素顺序为y * width * channels + x * channels + f，你的索引计算y*16+x*4+f是正确的，但如果后续仍有差异，可以打印TensorFlow的Flatten输出和手动展开的数组逐一对比。
• 数据精度：TensorFlow默认使用float32，而numpy默认是float64，如果手动计算时没有统一精度，可能会产生微小误差，但不会导致你示例中的大幅差异。

二、官方文档说明 #

• get_weights()权重顺序：
  • Conv2D层的get_weights()返回[kernel, bias]，其中kernel的形状为(kernel_height, kernel_width, input_channels, output_channels)，你的代码中提取model.layers[0].weights[0][0][0][0][f]是正确的（对应1x1卷积核、单输入通道、第f个输出通道的权重）。
  • Dense层的get_weights()返回[kernel, bias]，kernel形状为(input_dim, output_dim)，你提取model.layers[3].weights[0][i][f]（第i个输入特征对第f个输出神经元的权重）也是正确的。
• 计算逻辑：TensorFlow官方文档中，每个层（如Conv2D、MaxPooling2D、Dense）的API说明都详细标注了计算步骤、参数含义、权重形状和顺序，可直接查看对应层的官方文档获取细节。

三、分层验证输出差异的方法 #

可以逐层对比TensorFlow的输出和手动计算结果，定位差异来源：

1. 验证卷积层输出：
   提取TensorFlow中Conv2D层的输出，和手动计算（添加ReLU后的卷积结果）对比：

   # 获取TensorFlow的Conv2D输出
   conv_output = model.layers[0](test_data[0:1]).numpy()[0]
   # 手动计算卷积+ReLU后的结果，和conv_output逐元素对比
   

2. 验证MaxPooling层输出：
   将Conv2D的输出传入MaxPooling层，和手动计算的max数组对比：

   pool_output = model.layers[1](conv_output[None, ...]).numpy()[0]
   # 对比pool_output和手动的max数组
   

3. 验证Flatten层输出：
   对比TensorFlow的Flatten结果和手动展开的数组：

   flat_output = model.layers[2](pool_output[None, ...]).numpy()[0]
   # 手动展开max数组，和flat_output对比
   

4. 验证Dense层输出：
   最后对比Dense层的输出和手动计算的out数组。

通过这样逐层排查，就能快速找到哪一步的计算逻辑和TensorFlow不一致。

内容的提问来源于stack exchange，提问作者leon2899