TensorFlow中两种模型权重加载方式的差异及精度差异原因

这两种加载方式的核心差异在于是否重新构建计算图，以及对Batch Normalization（BN）这类带状态的层的处理逻辑不同——这也是导致你看到精度差异的关键原因：

1. tf.train.Saver(tf.global_variables()) 加载方式 #

• 这个方法的前提是你在预测代码里完全复刻了训练时的计算图结构：从输入层到输出层，包括所有tf.layers.batch_normalization层，每个变量的命名、结构都和训练时完全一致。
• Saver的作用很直接：把checkpoint文件里保存的权重值，按照变量名称一一映射到当前你重新构建的图中的变量上。
• 对于BN层来说，训练时会维护moving_mean和moving_variance这两个全局变量（用来保存训练集的整体统计量）。你在预测时肯定会把BN层的training参数设为False，这时候模型会直接使用加载进来的moving_mean和moving_variance做归一化，完全符合预测的逻辑，所以精度正常。

2. tf.train.import_meta_graph 加载方式 #

• 这个方法是直接从.meta文件中导入训练时完整的计算图，不需要你手动重新定义任何层或变量。但问题往往就出在这里：
  • 训练时，你给BN层的training参数设为了True（用来更新moving_mean和moving_variance），而这个参数可能被固化在了导入的图中。如果你在预测时没有手动把这个参数改成False，模型会继续以“训练模式”运行BN层——也就是用当前预测批次的均值和方差做归一化，而不是训练好的全局统计量，这会直接导致预测结果不稳定、精度下降。
  • 另外，如果导入图后，你没有正确获取到输出张量的引用（比如用get_tensor_by_name指定正确的输出节点名称），也可能导致预测时用了错误的计算分支，但这种情况更多表现为结果完全错误，而非精度降低。

为什么第一种方式精度更高？ #

本质上是因为第一种方式中，你重新构建了图，并且明确控制了BN层的training状态为False，让模型用训练好的全局统计量做归一化；而第二种方式导入的图可能还保留着训练时的training=True设置，导致BN层在预测时行为异常。

如果想让第二种方式也达到相同精度，你可以这么做：

• 导入图后，找到BN层的training张量（可以通过graph.get_tensor_by_name，名字通常类似batch_normalization/training:0，具体要看你训练时的命名），然后在运行预测时传入feed_dict={training_tensor: False}。
• 或者，在训练时就把training参数设置为一个可传入的占位符，这样预测时就能方便地切换状态。

内容的提问来源于stack exchange，提问作者mining