关于Amazon SageMaker实时推理超时重试及大模型规格的技术问询

1. 超时重试次数与终止方法 #

• 默认规则：当实时推理请求1分钟内未返回输出时，系统会自动重试2次，和你遇到的行为一致。
• 终止重试的配置方式：
  • 调用推理API时，在请求头中添加X-Amzn-SageMaker-Custom-Attributes: RetryMode=0，直接禁用重试。
  • 使用boto3调用时，通过custom_attributes参数传入配置：

    import boto3
    
    client = boto3.client('sagemaker-runtime')
    response = client.invoke_endpoint(
        EndpointName='your-endpoint',
        ContentType='application/json',
        Body=b'{"input": "your-data"}',
        CustomAttributes='RetryMode=0'
    )
    

  • 也可以通过调整端点配置中的推理超时时间（延长阈值），减少触发重试的概率。

2. “过大模型”的判定逻辑 #

SageMaker没有固定的大小阈值来定义“过大模型”，核心判断依据是模型能否适配单部署实例的内存/显存资源：

• 如果模型权重+推理时的中间张量、上下文占用的总资源，超过单实例的可用显存（GPU实例）或内存（CPU实例），就属于需要特殊处理的超大模型。
• 比如：20GB权重的模型无法在单卡16GB显存的实例上直接部署，此时需要采用模型并行、张量并行或多实例分布式部署方案（比如借助SageMaker Model Parallel Library）。
• 另外，即使模型静态大小没超，但推理时的资源占用峰值超过实例容量，也会被视为需要优化的超大模型场景。

内容的提问来源于stack exchange，提问作者Sparsh Rawat