使用TensorFlow C++ API执行预测失败，如何解决变量未找到问题？

1. 严格匹配TF版本 #

确保C++端使用的TensorFlow库版本与Python训练版本完全一致（2.18.x），版本不兼容是此类变量丢失问题的首要原因。

2. 显式导出模型签名 #

Python保存模型时，显式定义服务签名，避免隐式签名导致的节点名称不匹配：

import tensorflow as tf

# 替换为你的模型输入尺寸
INPUT_SHAPE = (None, 224, 224, 3)

@tf.function(input_signature=[tf.TensorSpec(shape=INPUT_SHAPE, dtype=tf.float32, name="inputs")])
def serving_func(inputs):
    return {"outputs": model(inputs)}

# 保存模型时指定签名
tf.saved_model.save(model, "./cartoon_model", signatures={"serving_default": serving_func})

3. 确认输入输出节点名称 #

不要硬编码节点名，用saved_model_cli工具查看模型的签名信息：

saved_model_cli show --dir ./cartoon_model --all

输出中会显示正确的输入输出名称，比如：

• 输入：serving_default_inputs:0（或自定义的inputs:0）
• 输出：serving_default_outputs:0（而非StatefulPartitionedCall:0）
  用正确的节点名替换推理代码中的硬编码值。

4. 使用TF2兼容的C++推理方式 #

避免直接调用旧的Session->Run，通过签名获取节点名称，示例：

// 加载模型后获取签名
auto& signature_map = m_bundle.GetSignatures();
auto serving_signature = signature_map.at("serving_default");

// 获取正确的输入输出名称
const std::string input_name = serving_signature.inputs().at("inputs").name();
const std::string output_name = serving_signature.outputs().at("outputs").name();

// 执行推理
tensorflow::Status status = 
m_bundle.GetSession()->Run(
{{input_name, inputTensor}},
{output_name},
{},
&outputs);

5. 验证SavedModel完整性 #

Python中重新加载保存的模型，确认变量和结构完整：

loaded_model = tf.saved_model.load("./cartoon_model")
test_input = tf.random.normal((1, 224, 224, 3))
test_output = loaded_model(test_input)
print("模型加载测试成功：", test_output.shape)

内容的提问来源于stack exchange，提问作者Kam Mazambrak