如何在线托管TensorFlow模型？TensorFlow Serving部署REST API及移动端适配疑问

1. 先把.h5模型转成TensorFlow Serving兼容的SavedModel格式 #

TensorFlow Serving仅支持SavedModel格式，第一步需完成格式转换：

import tensorflow as tf

# 加载本地.h5模型
model = tf.keras.models.load_model("your_model.h5")

# 保存为带版本号的SavedModel格式（版本号推荐用数字，便于后续迭代）
model.save("saved_model/1")

执行后会生成saved_model/1目录，内部是TensorFlow Serving可直接识别的文件结构。

2. 在线托管的可行方案 #

云平台托管TensorFlow Serving #

主流云厂商提供开箱即用的托管服务，适合快速上线：

• 上传SavedModel到云存储（如GCP Cloud Storage、AWS S3），通过云平台的模型服务（GCP AI Platform Prediction、AWS SageMaker、Azure ML）创建在线端点，自动生成REST/gRPC调用接口，无需自行维护服务器。
• 这类服务自带负载均衡、弹性扩容能力，适合中高流量场景。

无服务器函数托管 #

如果移动应用流量较低，无服务器方案成本更优：

• 用FastAPI或Flask编写轻量服务，集成字符串ID映射逻辑，同时加载模型（或调用托管的TensorFlow Serving接口）。
• 将服务打包为无服务器函数（如AWS Lambda、Google Cloud Functions），配置HTTP触发器即可对外提供API。
  注意：无服务器函数存在冷启动延迟，高流量场景需谨慎选择。

自定义容器部署 #

若需要完全控制服务逻辑（如复杂映射规则、多步骤预处理），可采用Docker容器部署：

1. 基于TensorFlow Serving官方镜像编写Dockerfile，加入自定义预处理代码（如字符串ID映射逻辑）。
2. 构建镜像后上传到云容器仓库（如GCR、ECR）。
3. 部署到云容器服务（如GKE、EKS），实现弹性扩容与负载均衡。

3. 字符串ID映射的两种处理方式 #

方式1：API层预处理（推荐） #

在模型服务前添加一层API网关/服务，专门处理字符串ID到模型输入格式的转换：

• 接口接收客户端传来的字符串ID，通过内存映射表、Redis或数据库查询对应的数值输入，再调用TensorFlow Serving的预测接口，最终返回结果给客户端。
• 这种方式灵活性高，映射规则修改无需重新部署模型。

方式2：映射逻辑嵌入模型（适合固定规则） #

若字符串ID的映射规则不会频繁变动，可直接将映射层整合到模型中：

import tensorflow as tf

# 假设已知所有字符串ID的集合
vocab = ["user_001", "user_002", "user_003"]
# 创建字符串转数值的映射层
lookup_layer = tf.keras.layers.StringLookup(vocabulary=vocab, output_mode="int")

# 加载原.h5模型
base_model = tf.keras.models.load_model("your_model.h5")

# 构建包含映射层的新模型
inputs = tf.keras.Input(shape=(1,), dtype=tf.string)
x = lookup_layer(inputs)
# 若原模型需要one-hot输入，可添加对应转换层
x = tf.keras.layers.CategoryEncoding(num_tokens=len(vocab), output_mode="one_hot")(x)
outputs = base_model(x)

new_model = tf.keras.Model(inputs=inputs, outputs=outputs)

# 保存整合后的SavedModel
new_model.save("saved_model_with_lookup/1")

整合后的模型可直接接收字符串ID作为输入，TensorFlow Serving无需额外处理即可返回预测结果。

4. 移动应用调用示例 #

客户端可通过HTTP POST请求调用托管的API，以下是curl测试示例：

curl -X POST \
  -H "Content-Type: application/json" \
  -d '{"instances": ["user_001"]}' \
  https://your-cloud-endpoint/v1/models/your-model:predict

移动应用中可使用对应平台的网络库（如Android的Retrofit、iOS的Alamofire）发起请求，解析返回的JSON结果即可。

内容的提问来源于stack exchange，提问作者Buddhini Angelika