TensorFlow训练模型相同输入不同批量推理结果不一致问题

从你的测试结果来看，核心问题出在模型中存在依赖批量统计的层（最常见的是Batch Normalization），且你在推理时没有将这些层切换到评估模式。以下是具体的分析和解决办法：

为什么会出现结果差异？ #

你的测试有两个关键特征，能帮我们定位问题：

1. 同批量大小下，训练脚本和恢复模型的脚本结果完全一致——说明模型参数是正确保存和加载的，排除了参数损坏或加载错误的可能。
2. 不同批量大小下，对应输入的输出完全不同——这指向模型中存在依赖当前批次数据计算统计量的层，其中最典型的就是Batch Normalization（BN）：
   • 在训练阶段，BN层会计算当前批次数据的均值和方差，并用它们对数据做归一化，同时累积移动均值和方差（专门用于推理阶段）。
   • 如果推理时没有明确将BN层切换到评估模式，它会继续使用当前输入批次的均值和方差做归一化。当批量大小从全量变成2条时，批次统计量会发生巨大变化，最终导致输出结果完全不同。
   • 类似的情况也可能出现在Dropout层（如果推理时没有关闭随机失活），但Dropout的差异通常是随机性的，而你的结果是稳定的不同，所以BN的可能性更高。

如何解决这个问题？ #

你需要在运行推理时，明确告诉模型切换到评估模式，让BN层使用训练阶段累积的移动均值和方差，而非当前批次的统计量。具体操作取决于你的模型定义方式：

1. 如果使用原生TensorFlow（占位符模式） #

假设你在定义BN层时使用了training占位符：

training = tf.placeholder(tf.bool, name='training')
# 定义BN层时关联这个占位符
hidden = tf.layers.batch_normalization(hidden, training=training)

那么在sess.run时，必须在feed_dict中传入training=False：

# 推理时的正确写法
result1 = sess.run(Out, feed_dict={X: NXtest, training: False})
result2 = sess.run(Out, feed_dict={X: NXtest[0:2,:], training: False})

2. 如果使用Keras API #

如果你用的是Keras构建模型，建议直接使用model.predict()方法，它默认会自动切换到评估模式：

# 替代sess.run的写法
result1 = model.predict(NXtest)
result2 = model.predict(NXtest[0:2,:])

如果一定要用sess.run，需要确保调用model.trainable = False或者在run时传入training=False的参数（具体取决于Keras版本）。

3. 检查其他依赖批量的层 #

除了BN，还要确认模型中是否有其他自定义层或第三方层存在依赖批量的逻辑，如果有，同样需要在推理时关闭对应的训练模式。

验证方法 #

修改代码后，重新运行测试：

• 全量测试集的前2条结果，应该和单独用前2条输入的结果完全一致；
• 训练脚本和恢复脚本的结果也依然保持一致。

内容的提问来源于stack exchange，提问作者user9765822