如何在Python中从.pb文件恢复TensorFlow模型及排查预测差异

我来帮你一步步拆解这两个问题，先从加载.pb文件到Python环境开始说起。

1. 如何将.pb文件加载到Python的TensorFlow模型中？ #

你可以通过以下步骤加载冻结的.pb文件、恢复计算图并完成预测：

• 第一步：读取.pb文件并导入计算图定义
  用TensorFlow的文件读取工具加载.pb文件，再把图定义导入到当前默认计算图中。
• 第二步：定位输入输出张量
  你需要明确模型的输入节点名称（比如训练时定义的输入层名称）和输出节点名称（你冻结时指定的outputLayer/Softmax）。
• 第三步：创建会话并运行预测
  启动TensorFlow会话，通过张量名称获取对应节点，传入测试数据得到预测结果。

下面是可直接参考的代码示例：

import tensorflow as tf

# 读取冻结的.pb文件
with tf.io.gfile.GFile('frozen_model.pb', 'rb') as f:
    graph_def = tf.compat.v1.GraphDef()
    graph_def.ParseFromString(f.read())

# 将图定义导入到默认计算图
tf.compat.v1.import_graph_def(graph_def, name='')

# 创建会话并执行预测
with tf.compat.v1.Session() as sess:
    # 替换成你模型实际的输入节点名称，比如'input_layer/input:0'
    input_tensor = sess.graph.get_tensor_by_name('your_input_node_name:0')
    # 你冻结时指定的输出节点
    output_tensor = sess.graph.get_tensor_by_name('outputLayer/Softmax:0')
    
    # 准备和原模型输入格式一致的测试数据（形状、数据类型要匹配）
    test_data = ...  # 你的测试输入数据
    
    # 运行预测
    predictions = sess.run(output_tensor, feed_dict={input_tensor: test_data})
    print(predictions)

注意：一定要把your_input_node_name:0替换成你模型真实的输入节点名称，你可以通过训练时打印输入张量名称、或者用TensorBoard查看原模型结构来确认。

2. 为何Python与Android端的预测值会出现巨大差异？ #

这种跨平台的结果差异，绝大多数是因为两端的预处理/推理逻辑不一致，我整理了几个最常见的排查方向：

• 输入数据预处理不一致
  这是最容易踩坑的点：

  • 图像类模型：Python端用RGB通道顺序，Android端Bitmap默认是BGR；或者归一化规则不同（比如Python除以255，Android却用(x-127.5)/127.5）；甚至图像resize的插值方式不同（比如Python用双线性插值，Android用最近邻插值），都会导致输入数据本身就存在差异。
  • 数值类模型：输入数据的标准化参数（均值、标准差）在两端没有对齐，比如Python用训练集的真实均值，Android却误用了错误的数值。

• 数据类型不匹配
  Python端通常用float32做推理，但Android端为了性能优化，可能开启了float16或int8量化推理，如果导出模型时没有做对应量化处理，就会带来明显的精度损失。

• 模型节点对应错误
  Android端加载模型时，指定的输入输出节点名称和Python端不一致；或者冻结模型时遗漏了关键节点（比如BatchNorm层的均值、方差节点），导致推理时的计算逻辑和训练阶段不符。

• 推理模式差异
  部分层在训练和推理时行为不同，比如Dropout层在推理时需要关闭随机丢弃，BatchNorm层在推理时要用训练好的固定均值方差而非实时计算。如果模型冻结时没有正确转换这些层到推理模式，或者Android端推理引擎未处理好这类逻辑，就会出现结果偏差。

• Android推理引擎优化设置
  Android端常用的TensorFlow Lite或NNAPI可能开启了算子融合、精度优化等选项，这些优化如果改变了模型的计算逻辑，也会导致结果差异。你可以尝试关闭这些优化，验证结果是否和Python端对齐。

建议你先从输入数据一致性入手排查：把Python端的输入数据保存下来，直接传到Android端作为输入，如果结果一致，说明问题出在预处理环节；如果还是不一致，再检查模型节点、数据类型和推理引擎设置。

内容的提问来源于stack exchange，提问作者vizsatiz