SageMaker Endpoint调用出现ServiceUnavailable 503错误求排查建议

排查步骤： #

• 检查端点实例状态：登录SageMaker控制台，找到目标端点，查看变体实例的状态。确认实例是否处于InService状态，有没有Pending、Failed的实例，或者实例数被意外调整为0。
• 核实实例配额：在AWS控制台的「Service Quotas」中，检查当前区域SageMaker对应实例类型的配额是否已用尽。即使之前运行正常，其他部署可能占用了配额，导致端点无法获取足够实例。
• 查看容器详细日志：在CloudWatch日志组中找到/aws/sagemaker/Endpoints/[你的端点名称]，查看容器的stdout和stderr日志。基础指标无异常不代表容器内部正常，日志可能暴露启动失败、依赖缺失、内存溢出等问题。
• 验证端点配置：确认端点的变体配置（实例类型、数量、权重）是否被修改过。比如实例类型变更后镜像不兼容，或者所有变体权重设为0，导致无实例处理请求。
• 排查VPC网络问题：如果端点部署在VPC内：
  • 检查安全组是否允许SageMaker服务与实例通信；
  • 确认子网路由表配置正常，NAT网关/互联网网关可用，实例能正常拉取镜像或访问依赖服务；
  • 验证VPC端点（若使用）的权限和配置是否正确。
• 优化重试机制（临时缓解）：调整boto3的重试配置，增加重试次数并使用自适应模式，避免因短暂波动导致失败：

  import boto3
  from botocore.config import Config
  
  config = Config(
      retries={
          'max_attempts': 8,
          'mode': 'adaptive'
      }
  )
  client = boto3.client('sagemaker-runtime', config=config)
  

• 检查AWS服务健康：查看AWS Health Dashboard，确认当前区域SageMaker服务是否存在临时中断或维护事件。

内容的提问来源于stack exchange，提问作者Miguel Trejo