TensorFlow 2.17.0升级后Keras模型部署至TF Serving报错

问题重现 #

• 本地用TensorFlow 2.17.0构建的Keras模型运行正常，通过tf.saved_model.save序列化后部署到TensorFlow Serving
• 使用过的TF Serving镜像：tensorflow/serving:nightly（内置TensorFlow库版本2.17.0）、tensorflow/serving:latest（内置TensorFlow 2.14.0）
• 发送预测请求后收到错误：

Could not find variable sequential_20/dense_41/bias. This could mean that the variable has been deleted. In TF1, it can also mean the variable is uninitialized. Debug info: container=localhost, status error message=Resource localhost/sequential_20/dense_41/bias/N10tensorflow3VarE does not exist.
[[{{function_node __inference_serving_default_474794}}{{node sequential_20_1/dense_41_1/add/ReadVariableOp}}]]

可行解决方法 #

1. 恢复签名定义 #

你注释掉了signatures参数，TF Serving虽然会自动生成默认签名，但如果模型包含自定义预处理逻辑或特殊层，自动生成的签名可能无法正确关联变量。建议恢复签名定义，确保签名函数完整封装模型的输入输出流程：

import tensorflow as tf 

# tf.version.VERSION == 2.17.0

tf.saved_model.save(
    model,
    export_dir="../models/jager/61",
    signatures={"serving_default": export_model(preprocessor,model)},
)

2. 固定模型与层的命名 #

TensorFlow 2.x中Keras会自动给重复创建的层加递增后缀（比如sequential_20、dense_41），可能导致TF Serving加载时命名空间混乱。保存前手动固定命名：

# 固定模型名称
model._name = "jager_model"
# 遍历层，去掉自动递增的后缀
for idx, layer in enumerate(model.layers):
    base_name = layer.name.split('_')[0]
    layer._name = f"{base_name}_{idx}"

tf.saved_model.save(model, export_dir="../models/jager/61")

3. 验证SavedModel完整性 #

用本地TensorFlow 2.17.0加载保存的模型，检查变量是否存在：

loaded_model = tf.saved_model.load("../models/jager/61")
# 打印所有变量名称
print([var.name for var in loaded_model.variables])

如果本地能找到报错的变量，说明问题出在TF Serving加载逻辑；如果本地也找不到，说明模型保存前变量已被意外释放或修改。

4. 使用对应版本的稳定镜像 #

优先使用官方发布的对应版本镜像tensorflow/serving:2.17.0（若已发布），避免nightly版本的潜在兼容性问题——虽然nightly显示TF库版本匹配，但镜像内部可能存在依赖不一致。

5. 用Keras原生方法保存模型 #

尝试用Keras的model.save方法替代（底层基于tf.saved_model.save，但额外做了Keras兼容性处理）：

model.save("../models/jager/61", save_format="tf")

核心原因分析 #

这个错误本质是TF Serving加载时无法定位模型变量，大概率是保存时签名缺失、自动命名冲突或版本镜像兼容性问题，优先从模型保存的完整性和签名定义入手排查。

内容的提问来源于stack exchange，提问作者Oleg