AWS SageMaker异步推理端点ManagedInstanceScaling相关技术问询

我通过AWS CLI部署了Amazon SageMaker异步推理端点，希望能在1台及多台GPU实例间自动伸缩，配置命令如下：

aws sagemaker create-endpoint-config \
  --endpoint-config-name my-model-cfg \
  --production-variants '[
    {
      "VariantName": "AllTraffic",
      "ModelName": "my-model",
      "InstanceType": "ml.g4dn.2xlarge",
      "InitialInstanceCount": 1,
      "ManagedInstanceScaling": {
        "Status": "ENABLED",
        "MinInstanceCount": 1,
        "MaxInstanceCount": 5
      }
    }
  ]' \
  --async-inference-config '{
      "ClientConfig": { "MaxConcurrentInvocationsPerInstance": 4 },
      "OutputConfig": {
        "S3OutputPath": "s3://…/success",
        "S3FailurePath": "s3://…/failed"
      }
    }'

针对该配置，我有以下问题：

1. 仅启用该自动伸缩功能是否满足需求？
2. 如何验证该功能的运行状态？
3. ManagedInstanceScaling与端点运行时设置中的Automatic scaling存在何种关联？（附端点运行时设置截图）

1. 仅启用ManagedInstanceScaling是否满足需求？ #

仅启用ManagedInstanceScaling对于异步推理端点的自动伸缩需求基本满足，但需注意以下几点：

• 该功能是SageMaker专为异步推理优化的托管自动伸缩机制，默认基于待处理请求队列长度和实例并发利用率两个核心指标做伸缩决策，适配异步推理批量、非实时的特性。
• 若你需要自定义伸缩触发条件（比如基于GPU使用率、自定义CloudWatch指标），仅靠托管伸缩无法实现，需结合Application Auto Scaling手动配置伸缩策略；但对于大部分通用异步推理场景，托管伸缩已能覆盖需求。
• MaxConcurrentInvocationsPerInstance的设置会直接影响实例的负载阈值，需根据模型推理耗时、GPU负载合理调整，才能让伸缩逻辑更精准。

2. 如何验证自动伸缩功能的运行状态？ #

可通过以下几种方式验证：

• 控制台验证：
  • 进入SageMaker控制台，找到目标端点，查看「端点运行时设置」中的自动伸缩状态，确认显示为「已启用」，且最小/最大实例数与配置一致。
  • 切换到「监控」标签，查看PendingAsyncInferenceRequests（待处理请求数）和InstanceCount（实例数）的CloudWatch指标曲线：当请求队列增长时，实例数应随之增加；队列清空后，实例数应缩容至最小值。
• CLI验证：
  • 执行命令查看端点配置的伸缩参数：

    aws sagemaker describe-endpoint-config --endpoint-config-name my-model-cfg
    

    检查返回结果中ManagedInstanceScaling的Status为ENABLED，且Min/Max值与配置一致。
  • 查看端点实时实例数：

    aws sagemaker describe-endpoint --endpoint-name <你的端点名称>
    

    查看ProductionVariants下的CurrentInstanceCount字段。
• CloudWatch事件验证：
  • 进入CloudWatch控制台的「事件」页面，搜索来源为aws.autoscaling的事件，确认实例扩容/缩容的事件是否正常触发。

3. ManagedInstanceScaling与端点运行时设置中Automatic scaling的关联 #

两者是同一功能的不同配置入口，底层逻辑完全一致：

• ManagedInstanceScaling是CLI/API配置端点时的参数，而控制台「端点运行时设置」中的「Automatic scaling」是该功能的可视化配置界面。
• 无论通过CLI配置ManagedInstanceScaling还是通过控制台启用「Automatic scaling」，最终都是开启SageMaker的托管自动伸缩功能：
  • 控制台设置的最小/最大实例数会同步到ManagedInstanceScaling的MinInstanceCount/MaxInstanceCount参数。
  • 若通过CLI配置了ManagedInstanceScaling，进入控制台的端点运行时设置会看到自动伸缩已启用，且参数与CLI配置一致；反之，在控制台修改自动伸缩参数后，执行describe-endpoint-config命令也能看到ManagedInstanceScaling的参数被更新。
• 两者仅配置方式不同：CLI/API适合自动化部署场景，控制台适合可视化快速调整。

内容的提问来源于stack exchange，提问作者xiangyu zhang