咨询SageMaker推理推荐作业对多模型端点的支持与配置方法

一、无端点推理推荐作业适配多模型的步骤 #

• 完成多模型前置准备：将所有待测试模型打包为符合SageMaker规范的model.tar.gz文件，上传至同一S3路径下；创建包含这些模型包的模型组，确保推理代码兼容MultiModelServer（如使用官方多模型容器或自定义适配容器）。
• 调用CreateInferenceRecommendationsJob API时，在EndpointConfiguration中配置多模型专属参数：
  • 添加MultiModelConfig字段，指定模型存储的S3前缀（所有模型文件所在的S3路径），按需开启ContentHandling（如CONVERT_TO_BINARY）。
  • 在ProductionVariants中，将ModelName设为多模型模型组的名称，同时指定支持多模型的实例类型（如ml.m5.xlarge）、初始实例数等基础配置。
• 准备符合多模型调用要求的测试负载：
  • 每个测试请求需明确指定目标模型，可通过请求体添加TargetModel字段（如{"TargetModel": "model-a.tar.gz", "data": ...}），或在请求头中设置X-Amzn-SageMaker-Target-Model。
  • 若使用批量负载文件（如JSON Lines格式），每条记录都要包含目标模型的标识，模拟真实业务中的多模型调用分布。
• 作业完成后，通过SageMaker控制台或DescribeInferenceRecommendationsJob API获取结果，结果会包含不同实例类型下的延迟、吞吐量、资源利用率等多模型场景专属指标。

二、多模型额外参数的配置位置 #

• 多模型核心部署参数（模型存储路径、内容处理规则）：在推理推荐作业的EndpointConfiguration.MultiModelConfig中定义。
• 请求级的模型指定参数：嵌入在测试负载的请求体或请求头中，需与推理代码的参数解析逻辑匹配。
• 推理容器的自定义参数：若需调整多模型服务器的运行参数（如线程数、批处理大小），可在模型包的config.properties文件或serve脚本中配置，推理推荐作业创建端点时会自动加载这些配置。

内容的提问来源于stack exchange，提问作者Janhavi Khindkar