如何提升Amazon SageMaker并发请求数？Mistral模型部署遇阻求助

一、核心瓶颈排查 #

你遇到的15核并行上限，核心原因并非SageMaker实例算力不足，而是以下几个关键限制：

1. 调用端系统资源限制：c6a.24xlarge默认的TCP连接数、文件描述符上限，会在16核并行时打满，导致请求无法发送（这也解释了CloudWatch无日志——请求根本没离开调用端）。
2. SageMaker端点并发配置未优化：即便扩容实例数，模型容器默认的并发处理参数未调整，单个实例无法承载更多请求。
3. VPC网络限制：若端点部署在VPC内，安全组、NAT网关的连接数配额也可能成为瓶颈。

二、具体解决办法 #

1. 优化调用端系统参数 #

在c6a.24xlarge实例上调整系统限制，提升并发连接能力：

• 调整文件描述符限制：

  # 临时生效
  ulimit -n 65535
  # 永久生效（编辑/etc/security/limits.conf）
  echo "* soft nofile 65535" >> /etc/security/limits.conf
  echo "* hard nofile 65535" >> /etc/security/limits.conf
  

• 调整TCP连接参数（编辑/etc/sysctl.conf）：

  echo "net.ipv4.tcp_tw_reuse = 1" >> /etc/sysctl.conf
  echo "net.ipv4.tcp_fin_timeout = 30" >> /etc/sysctl.conf
  echo "net.core.somaxconn = 65535" >> /etc/sysctl.conf
  sysctl -p
  

2. 调整SageMaker端点并发配置 #

（1）设置模型容器并发参数

创建模型时，通过环境变量调整单容器的并发处理能力：

model = Model(
    image_uri=your_image_uri,
    model_data=your_model_data,
    role=role,
    env={
        "SAGEMAKER_MODEL_SERVER_WORKERS": "6",  # 对应g5.2xlarge的8vCPU，可设为4-8
        "MAX_CONCURRENT_REQUESTS": "12",  # 单个容器最大并发请求数
        "MAX_QUEUE_SIZE": "60"  # 请求队列缓冲大小
    }
)

（2）启用自动扩缩容

配置端点的自动扩缩容策略，根据请求负载动态调整实例数，替代固定初始实例数：

from sagemaker.predictor import Predictor
from sagemaker.autoscaling import AutoScalingPolicy

predictor = Predictor(endpoint_name=your_endpoint_name)
as_policy = AutoScalingPolicy(
    predictor=predictor,
    min_capacity=5,
    max_capacity=20,
    target_value=6.0,  # 单实例平均并发请求数，根据模型实际性能调整
    scale_in_cooldown=300,
    scale_out_cooldown=60
)
as_policy.apply()

3. 申请实例配额提升 #

针对ml.g5.4xlarge的配额不足问题，可通过AWS Service Quotas控制台提交提升申请：

• 搜索“SageMaker”，找到“ml.g5.4xlarge for endpoint usage”配额项
• 点击“Request quota increase”，填写所需配额数量（如10）及业务场景说明，AWS通常1-3个工作日完成审批

4. 模型轻量化优化 #

针对Mistral-7b-v0.3，通过轻量化减少单请求资源占用，提升单实例并发：

• 采用4bit/8bit量化技术（如AWQ、GPTQ）压缩模型显存占用
• 使用SageMaker Model Optimizer工具优化推理计算图

三、替代方案 #

1. 异步推理（Async Inference） #

若摘要生成对实时性要求不高，异步推理更适配高并发批量请求：

• 请求提交到异步端点后，系统自动排队处理，调用端无需维持长连接
• 可配置更大的实例池，规避调用端并发连接限制

2. 批量转换（Batch Transform） #

针对大型文档数据库的批量摘要生成，批量转换是更高效的选择：

• 将文档数据存储在S3，SageMaker自动完成批量处理，结果直接输出到S3
• 无需手动管理并发请求，系统自动优化资源调度

内容的提问来源于stack exchange，提问作者Federico