多输入TensorFlow Serving输出结果异常问题求助

我碰到过好多次类似的情况，大多是模型保存时的签名定义或者请求格式不对导致的，咱们一步步来排查：

1. 检查模型保存时的签名定义是否正确 #

你现在的代码只提到了定义占位符和训练流程，但没看到SavedModel的保存逻辑——这可是TF Serving识别模型输入输出的核心！如果直接保存变量却不指定签名，TF Serving根本不知道该怎么映射你的两个输入和输出。

正确的保存方式需要用tf.saved_model.builder.SavedModelBuilder，明确指定输入输出的签名映射，示例代码如下（你需要替换成自己的实际输出张量）：

import os
import tensorflow as tf

# 假设你的模型最终输出是y，这里替换成你实际的输出计算逻辑
y = tf.add(x * z, z1, name="model_output")

# 构建SavedModel保存器
builder = tf.saved_model.builder.SavedModelBuilder(
    os.path.join(FLAGS.work_dir, str(FLAGS.model_version))
)

# 为每个输入输出生成张量信息
tensor_info_x = tf.saved_model.utils.build_tensor_info(x)
tensor_info_z = tf.saved_model.utils.build_tensor_info(z)
tensor_info_y = tf.saved_model.utils.build_tensor_info(y)

# 定义预测签名，这里的输入key要和后续请求时的输入名称完全对应
prediction_signature = tf.saved_model.signature_def_utils.build_signature_def(
    inputs={'x_input': tensor_info_x, 'z_input': tensor_info_z},
    outputs={'model_output': tensor_info_y},
    method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
)

# 保存模型和签名
builder.add_meta_graph_and_variables(
    sess, [tf.saved_model.tag_constants.SERVING],
    signature_def_map={
        tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY:
            prediction_signature
    }
)

builder.save()

2. 验证SavedModel的结构是否正确 #

模型保存后，用TensorFlow自带工具检查签名是否正确生成：

saved_model_cli show --dir /path/to/your/model/version --all

执行后会输出模型的输入输出张量名称、类型和形状，确认它们和你定义的x、z以及输出是否匹配。如果看不到你的两个输入项，说明保存时签名没配置对，得回到第一步修正。

3. 检查TF Serving请求的格式是否匹配 #

如果模型结构没问题，那大概率是请求格式不对。比如用REST API请求时，JSON格式要和签名里的输入key完全对应：

{
  "instances": [
    {"x_input": 1.0, "z_input": 2.0},
    {"x_input": 3.0, "z_input": 4.0}
  ]
}

很多人会犯的错误是直接用占位符的名称（比如x）而不是签名里定义的key（比如x_input），导致模型找不到输入张量，自然输出异常。

4. 确认训练与部署的张量一致性 #

有时候训练时会不小心定义多个同名张量，导致保存时用错了输出张量。建议给最终的输出张量明确命名（比如name="model_output"），这样保存签名时能精准定位到正确的输出。

如果还是解决不了，可以把saved_model_cli的输出结果和你的请求格式贴出来，能更精准定位问题！

内容的提问来源于stack exchange，提问作者dhinar1991