TensorFlow本地模型正常但TF Serving部署报错：找不到指定变量

核心原因 #

Keras Sequential模型的变量采用延迟初始化机制，仅在第一次执行前向传播（比如调用model.predict()或传入样本数据）时才会创建和初始化变量。如果直接训练后就保存模型，部分变量可能未被正确实例化，导致TensorFlow Serving加载时无法找到对应变量。

解决方案 #

1. 保存模型前触发变量初始化 #

在调用tf.saved_model.save()前，传入一个样本数据执行一次前向传播，确保所有变量被正确创建：

import tensorflow as tf
import os

os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"

def main():
    num_epochs = 1
    batch_size = 32
    learning_rate = 0.001

    model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(120, activation=tf.nn.relu),
        tf.keras.layers.Dense(100),
        tf.keras.layers.Softmax()
    ])

    (train, train_label), (test, test_label) = tf.keras.datasets.cifar100.load_data()

    model.compile(
        optimizer=tf.keras.optimizers.Adam(learning_rate=learning_rate),
        loss=tf.keras.losses.sparse_categorical_crossentropy,
        metrics=[tf.keras.metrics.sparse_categorical_accuracy]
    )
    model.fit(train, train_label, epochs=num_epochs, batch_size=batch_size)
    
    # 添加这一行：用一个样本触发前向传播，初始化所有变量
    model(train[:1])
    
    print("tf.saved_model.save")
    tf.saved_model.save(model, "/mnt/d/pythonaijia/model/mnist/300")

2. 改用Keras原生model.save()保存模型 #

Keras的保存方式对TensorFlow Serving兼容性更好，替换tf.saved_model.save()为：

model.save("/mnt/d/pythonaijia/model/mnist/300")

3. 确认TensorFlow与TensorFlow Serving版本匹配 #

确保训练模型用的TensorFlow版本，和部署用的TensorFlow Serving版本一致（主版本号必须相同，比如都是2.x系列），版本不匹配会导致变量加载异常。

4. 检查模型部署路径配置 #

启动TensorFlow Serving时，确保--model_base_path指向模型的父目录（而非版本目录），例如：

tensorflow_model_server --rest_api_port=8501 --model_name=mnist --model_base_path=/mnt/d/pythonaijia/model/mnist/

Serving会自动加载mnist目录下最高版本号的子目录（比如这里的300）。

验证步骤 #

1. 重新训练并保存模型后，用saved_model_cli工具检查模型签名：

saved_model_cli show --dir /mnt/d/pythonaijia/model/mnist/300 --all

如果输出包含serving_default签名，且输入输出格式正确，说明模型保存正常。
2. 再次启动Serving并发起预测请求，确认问题解决。

内容的提问来源于stack exchange，提问作者user10858133