Amazon SageMaker单端点多容器部署健康检查报错问题咨询

核心排查方向 #

1. 端口冲突或端点路由配置错误 #

• 单独部署时两个容器可能共用了同一端口（比如默认的8000），集成时未做区分导致端口占用，直接触发健康检查失败。
• 检查容器编排文件（如docker-compose.yml）的端口映射，给每个容器分配独立的主机/内部端口，同时确保网关的路由规则精准指向对应容器：

  services:
    fraud-detection:
      ports:
        - "8001:8000"
      healthcheck:
        test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
    svm-model:
      ports:
        - "8002:8000"
      healthcheck:
        test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
  

• 集成单个端点时，网关要明确路由逻辑，比如/fraud转发到欺诈检测容器，/svm转发到SVM容器，避免路由混淆导致健康检查请求找不到目标。

2. 健康检查目标地址错误 #

• 多容器环境中，健康检查如果用了主机IP或外部域名，可能无法访问容器内部服务，应改用localhost或Docker服务名（Compose中服务名可直接作为DNS解析）。
• 自身健康检查优先用localhost，跨容器连通性测试可使用服务名：

  healthcheck:
    test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
    interval: 30s
    timeout: 10s
    retries: 3
  

3. 容器间网络连通性问题 #

• 单独部署用默认网络，集成时自定义了网络但未将所有容器加入同一网络，会导致健康检查或端点请求无法跨容器通信。
• 确保所有服务都加入同一个自定义网络：

  networks:
    model-network:
      driver: bridge
  
  services:
    fraud-detection:
      networks:
        - model-network
    svm-model:
      networks:
        - model-network
  

4. 资源竞争导致服务启动延迟 #

• 多容器同时启动时，模型服务初始化慢，健康检查在服务就绪前就执行，直接报错。
• 调整健康检查参数，给服务足够的启动缓冲时间：

  healthcheck:
    test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
    interval: 30s
    timeout: 10s
    retries: 3
    start_period: 60s
  

5. 端点集成的请求处理逻辑问题 #

• 用网关（如Flask/FastAPI）集成单个端点时，未正确传递请求参数、请求头，或未兼容两个模型的响应格式，导致服务报错。
• 示例FastAPI网关代码：

  from fastapi import FastAPI
  import httpx
  
  app = FastAPI()
  FRAUD_URL = "http://fraud-detection:8000/predict"
  SVM_URL = "http://svm-model:8000/predict"
  
  @app.post("/predict/fraud")
  async def predict_fraud(data: dict):
      async with httpx.AsyncClient() as client:
          response = await client.post(FRAUD_URL, json=data)
      return response.json()
  
  @app.post("/predict/svm")
  async def predict_svm(data: dict):
      async with httpx.AsyncClient() as client:
          response = await client.post(SVM_URL, json=data)
      return response.json()
  

快速验证步骤 #

1. 逐个启动容器，确认单个容器健康检查通过后再启动下一个，排查是否为同时启动的资源竞争问题。
2. 进入容器内部，手动执行健康检查命令（如curl http://localhost:8000/health），确认服务自身是否能正常响应。
3. 在网关容器中，用服务名访问两个模型的端点，验证容器间网络连通性。

内容的提问来源于stack exchange，提问作者Sirosh Bashir