Flask容器向TensorFlow/Serving容器发送HTTP POST请求失败排查

核心问题排查 #

你的Flask容器无法连接TensorFlow/Serving容器，错误提示连接被拒绝，大概率是以下几个原因导致的：

1. TensorFlow/Serving模型目录结构不符合要求 #

TF Serving要求模型必须放在带版本号的子目录下，否则无法加载模型，服务启动后不会监听8501端口。
你的挂载配置是./exportedmodel:/models/test_model，但exportedmodel的目录结构必须是这样的：

exportedmodel/
  1/  # 版本号为整数，可自定义（比如2、3）
    saved_model.pb
    variables/
      variables.data-00000-of-00001
      variables.index

如果直接把saved_model.pb放在exportedmodel根目录下，TF Serving会找不到有效模型，服务启动失败。

2. TF Serving服务未正常启动 #

执行以下命令查看TF容器日志，确认模型是否加载成功：

docker logs mytf

如果日志中出现类似以下内容，说明服务正常启动：

Successfully loaded servable version {name: test_model version: 1}
Running gRPC ModelServer at 0.0.0.0:8500 ...
Running HTTP/REST API at 0.0.0.0:8501 ...

如果日志中有模型加载失败的错误（比如Could not find base path...），说明目录结构有问题，需要调整。

3. Flask请求地址使用容器名而非服务名（潜在问题） #

Docker Compose默认创建的网络中，服务之间优先通过服务名通信，你的TF服务在Compose中的服务名是tf，而不是容器名mytf。虽然容器名理论上也能解析，但服务名是Compose默认的网络别名，更稳定。
修改Flask中的请求地址：

json_response = requests.post('http://tf:8501/v1/models/test_model:predict', data=data, headers=headers)

4. 过时的links配置 #

Compose v3中links已经是废弃配置，同一网络下的服务默认可以直接通过服务名访问，删除Flask服务中的links: - tf配置，避免潜在的网络解析冲突。

验证步骤 #

1. 调整模型目录结构后，重启所有容器：

docker-compose down && docker-compose up -d

2. 进入Flask容器，测试TF服务连通性：

docker exec -it myflask curl http://tf:8501/v1/models/test_model

如果返回类似以下JSON，说明服务正常：

{
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

内容的提问来源于stack exchange，提问作者J. Song