TensorFlow C API调用冻结图预测结果恒同问题修复求助

问题分析与排查方案 #

看起来你遇到了一个典型的「模型推理输出固定」问题——同一模型无论输入什么数据输出都一致，但不同模型输出有差异，这说明模型结构本身是加载成功的，但输入数据没有正确传递到模型中，或者模型在推理时处于异常的固定模式。下面是一步步的排查和修复建议：

1. 先验证导出的.pb模型本身是否正常（排除导出问题）

首先要确认你的.pb文件在Python环境下推理是正常的，这样可以排除模型导出的问题：

import tensorflow as tf
import numpy as np

# 加载.pb模型
def load_pb_model(pb_path, input_node_name, output_node_name, input_shape):
    with tf.gfile.GFile(pb_path, 'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
    with tf.Graph().as_default() as graph:
        tf.import_graph_def(graph_def, name='')
    sess = tf.Session(graph=graph)
    
    # 获取输入输出节点
    input_tensor = graph.get_tensor_by_name(f"{input_node_name}:0")
    output_tensor = graph.get_tensor_by_name(f"{output_node_name}:0")
    
    # 测试不同输入
    random_input1 = np.random.randint(0,255, size=input_shape, dtype=np.uint8)/255.0
    random_input2 = np.random.randint(0,255, size=input_shape, dtype=np.uint8)/255.0
    output1 = sess.run(output_tensor, feed_dict={input_tensor: random_input1})
    output2 = sess.run(output_tensor, feed_dict={input_tensor: random_input2})
    
    # 检查输出是否不同
    diff = np.sum(np.abs(output1 - output2))
    print(f"Output difference: {diff}")
    if diff > 1e-5:
        print("模型在Python中推理正常！")
    else:
        print("模型本身导出有问题，输出固定！")

# 替换成你的实际参数
load_pb_model(
    'saved_model.pb',
    input_node_name='your_input_name',  # 对应C代码中的inputName参数
    output_node_name='your_output_name',  # 对应C代码中的outputName参数
    input_shape=(1, your_height+2*your_border, your_width+2*your_border, 3)
)

如果Python中输出也固定，那问题出在模型导出阶段：

• 调整learning_phase的设置时机：把tf.keras.backend.set_learning_phase(0)放在加载模型之前，部分自定义层（如分割模型中的BatchNorm）需要提前感知推理模式：

  tf.keras.backend.set_learning_phase(0)
  model = tf.keras.models.load_model(model_name)
  

• 确认输出节点捕获正确：打印模型输出节点名称，确保convert_variables_to_constants没有漏写：

  print("Output node names:", [out.op.name for out in model.outputs])
  

2. 检查C API中输入数据的传递是否正确

如果Python中模型正常，那问题出在C API的输入处理：

• 验证输入数据转换是否正确：在ModelPredict中添加打印，确认转换后的float值和输入的batch1一致：

  for (int i=0; i<10; i++) {
      printf("batch1[%d] = %d, arrayOfFloats[%d] = %.4f\n", i, batch1[i], i, arrayOfFloats[i]);
  }
  

  确保转换后的数值是batch1[i]/255.0，没有出现全0或全相同的异常情况。
• 修复输出Tensor的创建方式：你当前手动用TF_AllocateTensor创建输出Tensor，容易出现维度/类型不匹配。建议改成让TensorFlow自动分配，更稳妥：

  // 替换原来的输出Tensor创建代码
  std::vector<TF_Tensor*> output_values(outputs.size(), nullptr);
  TF_SessionRun(model->session, NULL,
                &inputs[0], &input_values[0], inputs.size(),
                &outputs[0], &output_values[0], outputs.size(),
                NULL, 0, NULL, model->status);
  
  // 打印错误信息方便排查
  if (!Okay(model->status)) {
      printf("SessionRun Error: %s\n", TF_Message(model->status));
      TF_DeleteTensor(input_values[0]);
      for (auto t : output_values) if (t) TF_DeleteTensor(t);
      return NULL;
  }
  
  // 读取输出数据
  float* prediction = (float*)TF_TensorData(output_values[0]);
  // ... 后续转换为unsigned char的逻辑 ...
  
  // 释放资源
  TF_DeleteTensor(input_values[0]);
  TF_DeleteTensor(output_values[0]);
  

• 确认Deallocator函数的正确性：你使用的Deallocator回调要确保正确释放arrayOfFloats的内存：

  void Deallocator(void* data, size_t length, void* arg) {
      free(data);
  }
  

3. 检查模型节点名称是否正确匹配

在ModelCreate中，你通过inputName和outputName获取模型节点，要确保这些名称和.pb文件中的节点完全一致：

• 用Python代码打印.pb文件的所有节点名称：

  import tensorflow as tf
  with tf.gfile.GFile('saved_model.pb', 'rb') as f:
      graph_def = tf.GraphDef()
      graph_def.ParseFromString(f.read())
  for node in graph_def.node:
      print(node.name)
  

  确认inputName对应模型的输入节点（比如input_1），outputName对应模型的输出节点（比如conv2d_final/Sigmoid），注意TF_GraphOperationByName不需要:0后缀，只需要节点名称本身。

4. 其他潜在问题

• 完善Okay函数的错误打印：确保不会隐藏TensorFlow的错误信息：

  static int Okay(TF_Status* s) {
      if (TF_GetCode(s) != TF_OK) {
          printf("TensorFlow Error: %s\n", TF_Message(s));
          return 0;
      }
      return 1;
  }
  

• 检查输入维度的正确性：确认properties中的height、width、border参数是否和训练时的输入预处理逻辑完全一致，比如训练时是否真的给图像添加了border*2的 padding。

总结 #

先从Python验证模型导出是否正常，排除模型本身的问题；再检查C API的输入数据传递和Tensor创建逻辑，尤其是输出Tensor的自动分配方式；最后确认节点名称和错误检查是否到位。按照这个流程应该能快速定位并修复问题。

内容的提问来源于stack exchange，提问作者Vladislav D