TensorFlow Serving预测报错：ModelSpec缺失问题求助

我来帮你排查这个问题——这个错误几乎都是因为预测请求没有正确指定模型信息，或者模型导出格式不符合TensorFlow Serving的要求导致的。咱们一步步来定位解决：

1. 先确保你的模型导出符合SavedModel规范 #

你的代码片段只写了开头部分，模型导出是关键环节，必须生成TensorFlow Serving认可的SavedModel格式。补全你的模型定义和导出代码示例：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os
import sys
import numpy as np
import tensorflow as tf

tf.app.flags.DEFINE_integer("model_version", 1, "version number of the model.")
tf.app.flags.DEFINE_string("work_dir", "/tmp/sum_model", "Working directory for model export")
FLAGS = tf.app.flags.FLAGS

def build_sum_model():
    # 定义输入层，必须指定name，后续请求要用到这个名称
    input1 = tf.keras.layers.Input(shape=(1,), name='input1')
    input2 = tf.keras.layers.Input(shape=(1,), name='input2')
    
    # 简单的MLP结构（这里因为是求和，其实线性层就够）
    concatenated = tf.keras.layers.concatenate([input1, input2])
    output = tf.keras.layers.Dense(1, name='sum_output')(concatenated)
    
    model = tf.keras.Model(inputs=[input1, input2], outputs=output)
    model.compile(optimizer='adam', loss='mse')
    return model

if __name__ == '__main__':
    # 训练少量数据（仅用于测试）
    model = build_sum_model()
    x1 = np.random.rand(100, 1)
    x2 = np.random.rand(100, 1)
    y_true = x1 + x2
    model.fit([x1, x2], y_true, epochs=10, batch_size=8)
    
    # 导出模型到指定目录，必须包含版本号子目录
    export_path = os.path.join(FLAGS.work_dir, str(FLAGS.model_version))
    print(f"Exporting model to {export_path}")
    tf.saved_model.save(model, export_path)

运行这段代码后，你会得到/tmp/sum_model/1/目录，里面是标准的SavedModel文件。

2. 确认TensorFlow Serving的启动命令正确 #

启动Serving时必须明确指定模型名称和模型根目录，比如：

tensorflow_model_server --port=8501 --model_name=sum_model --model_base_path=/tmp/sum_model/

这里的--model_name=sum_model是核心——后续请求必须用这个名称来指定要调用的模型。

3. 检查预测请求的格式（最容易出错的环节） #

'ModelSpec missing'大多是因为请求里没正确传递模型标识。以下是两种正确的请求方式：

方式1：用curl发送HTTP请求 #

curl -d '{"instances": [{"input1": 2.5, "input2": 3.5}]}' -X POST http://localhost:8501/v1/models/sum_model:predict

注意：

• URL里的sum_model必须和启动Serving时的--model_name一致
• 请求体的input1、input2必须和模型定义时输入层的name一致
• 如果要指定特定版本，可以用：http://localhost:8501/v1/models/sum_model/versions/1:predict

方式2：用Python发送请求 #

import requests
import json

url = "http://localhost:8501/v1/models/sum_model:predict"
payload = {"instances": [{"input1": 2.5, "input2": 3.5}]}
response = requests.post(url, json=payload)

if response.status_code == 200:
    print("预测结果:", response.json()["predictions"])
else:
    print("请求错误:", response.text)

4. 常见坑排查 #

• 模型导出路径错误：model_base_path必须指向包含版本号子目录的父目录（比如/tmp/sum_model/，而不是/tmp/sum_model/1/）
• 输入名称不匹配：请求里的输入键名必须和模型输入层的name完全一致，大小写敏感
• 请求格式错误：必须用instances字段包裹输入数据，JSON格式要严格正确（比如不要遗漏逗号、引号）

按照上面的步骤检查一遍，应该就能解决'ModelSpec missing'的问题了。

内容的提问来源于stack exchange，提问作者MLEnthusiast