TensorFlow Serving部署SSD MobileNet后gRPC推理请求超时无响应

问题背景 #

• 从TF2模型库下载SSD MobileNet v2 320x320模型，使用以下Docker命令部署TensorFlow Serving（CPU版）：

  docker run -p 8500:8500 --name od --mount type=bind,source=C:\Users\johnno\Documents\Python\ObjectDetection\Models\ssd_mobilenet_v2_320x320_coco17_tpu-8\saved_model,target=/models/od -e MODEL_NAME=od -v=1 -t tensorflow/serving:latest
  

• 容器启动日志正常，已进入gRPC 8500端口监听状态，但Python gRPC推理请求始终超时，报错StatusCode.DEADLINE_EXCEEDED（延长至20分钟仍无效）
• 此前GPU环境部署Faster RCNN模型可正常运行
• 本地环境版本：tensorflow 2.9.2、tensorflow-serving-api 2.9.1、grpcio 1.49.0rc3、Python 3.10.6

排查与解决步骤 #

1. 修复gRPC版本兼容性问题 #

你使用的grpcio是1.49.0rc3（候选测试版本），而TensorFlow Serving官方镜像默认搭配稳定版gRPC，候选版本大概率存在兼容性bug。

• 操作：卸载当前grpcio，安装与tensorflow-serving-api匹配的稳定版

  pip uninstall -y grpcio grpcio-tools
  pip install grpcio==1.48.2 grpcio-tools==1.48.2
  

2. 修正Windows环境下的模型挂载路径 #

Windows Docker的路径挂载容易出现权限、格式问题：

• 确认source路径下的模型完整性：检查C:\Users\johnno\Documents\Python\ObjectDetection\Models\ssd_mobilenet_v2_320x320_coco17_tpu-8\saved_model目录是否包含variables文件夹和saved_model.pb文件
• 若使用WSL2后端，改用WSL路径格式：

  docker run -p 8500:8500 --name od --mount type=bind,source=/mnt/c/Users/johnno/Documents/Python/ObjectDetection/Models/ssd_mobilenet_v2_320x320_coco17_tpu-8/saved_model,target=/models/od -e MODEL_NAME=od -v=1 -t tensorflow/serving:latest
  

• 简化路径：将模型移动到无空格、短路径的目录（如C:\tf_models\ssd_saved_model），再修改Docker命令的source参数

3. 对齐TensorFlow Serving与本地TF版本 #

你本地TF版本是2.9.2，但使用的tensorflow/serving:latest镜像对应更高版本的TF（如2.15+），跨版本可能导致模型加载异常（启动日志正常但推理时卡住）。

• 操作：使用与本地TF匹配的Serving镜像

  docker run -p 8500:8500 --name od --mount type=bind,source=C:\Users\johnno\Documents\Python\ObjectDetection\Models\ssd_mobilenet_v2_320x320_coco17_tpu-8\saved_model,target=/models/od -e MODEL_NAME=od -v=1 -t tensorflow/serving:2.9.0
  

4. 测试基础gRPC连通性 #

先排除代码逻辑问题，用极简代码测试服务连通性：

import grpc
from tensorflow_serving.apis import prediction_service_pb2_grpc, model_service_pb2, model_service_pb2_grpc

channel = grpc.insecure_channel('localhost:8500')
# 尝试获取模型列表
model_stub = model_service_pb2_grpc.ModelServiceStub(channel)
request = model_service_pb2.ListModelsRequest()
try:
    response = model_stub.ListModels(request, timeout=10)
    print("可用模型:", response.model_status_list)
except grpc.RpcError as e:
    print("连接错误:", e.code(), e.details())

• 若此请求仍超时，说明是网络/容器连通问题；若能返回模型列表，问题出在推理请求的输入格式上

5. 校验推理请求的输入格式 #

SSD MobileNet v2要求输入为float32类型，形状[1, 320, 320, 3]，且需归一化到[0,1]或[-1,1]（匹配训练预处理逻辑）：

• 确认输入张量的形状、数据类型正确，避免传入未归一化的uint8图像
• 确保请求中的model_spec.name与Docker命令的MODEL_NAME一致（即od）

6. 查看容器实时推理日志 #

启动日志正常不代表推理时无错误，通过以下命令查看容器实时日志：

docker logs -f od

若推理时出现模型加载失败、预处理错误等，日志会给出具体报错信息。

内容的提问来源于stack exchange，提问作者Johnno1011