Amazon SageMaker预置端点并发调用限制及限流问题咨询

1. 并发限制适用范围说明 #

无服务器推理单端点变体200并发的限制仅针对Serverless Inference形态，完全不适用于预置（Provisioned）端点。
不要拿无服务器端点的固定配额往预置端点上套，预置端点本质是用户租用的专属计算资源，没有平台侧设置的全局固定单变体并发调用上限，实际可承载的并发能力由三个因素共同决定：

• 所选实例规格的CPU、内存、网络带宽硬件能力
• 端点配置的实例副本总数
• 部署模型本身的单请求平均处理耗时
  可承载并发的简单计算逻辑为：单实例最大可承载并发 = 1000ms / 单请求平均处理耗时(ms)，总并发为单实例并发乘以实例总数。举个例子，如果模型单请求平均处理耗时为5ms，单台ml.m5.xlarge实例每秒就可以承载200次调用，3台实例总QPS达到600完全在合理承载范围内。

2. 605QPS无限流的原因说明 #

当前观测到3台ml.m5.xlarge承载605QPS且无客户端限流、请求失败，属于正常现象，不存在配置遗漏：

• ml.m5.xlarge规格为4vCPU、16GiB内存，本身计算资源充足，只要模型推理延迟足够低（比如平均单请求处理耗时低于20ms），单实例承载200+QPS、3台总QPS破600完全在硬件能力范围内，远没有达到端点的负载瓶颈。
• 预置端点的限流触发逻辑和无服务器端点完全不同：只有当后端所有实例的工作线程全部占满、请求排队时长超过配置的超时阈值（比如ContainerStartupHealthCheckTimeout、ModelDataDownloadTimeout）、请求队列被打满时，才会向客户端返回限流错误。没有观测到限流，就说明当前负载下请求都能被及时处理，没有出现积压。
• SageMaker预置端点前置了托管的负载均衡层，会自动将请求均匀分发到后端所有实例副本，不会出现单实例被打满、其余实例空闲的负载不均问题，观测到的总QPS是被均衡分发后的实际处理量，数据准确。

相关监控参考 #

内容的提问来源于stack exchange，提问作者justHelloWorld