如何优化SageMaker MultiDataModel中Llama3推理的延迟与吞吐量？

一、模型部署配置优化 #

• 选用高性能实例类型：针对Llama3-70B这类大模型，优先选择搭载A10G/A100/T4等高性能GPU的实例，比如ml.g5.12xlarge或ml.p3.8xlarge，这类实例的显存容量和计算能力能更好支撑大模型推理，降低单请求处理耗时。
• 开启并行推理策略：在MultiDataModel部署时，通过配置张量并行参数，将Llama3的模型层拆分到多GPU上运行，充分利用实例的多GPU资源，减轻单GPU负载，提升吞吐量。可通过model_kwargs设置并行度，示例代码如下：

model = JumpStartModel(
    model_id="meta-textgeneration-llama-3-70b-instruct",
    model_kwargs={"tensor_parallel_degree": 4}  # 根据实例GPU数量调整取值
)

• 合理设置批量大小：结合实例显存余量，调整推理的batch_size参数。适当增大批量能提升GPU利用率，进而提高吞吐量，但需注意避免显存溢出。

二、推理参数调优 #

• 精简生成参数：
  • 限制max_new_tokens的取值，避免生成过长文本，减少单请求的处理时间，降低延迟。
  • 若不需要随机性输出，将do_sample设为false，减少额外计算开销，加快推理速度。
• 启用动态批处理：在端点配置中开启动态批处理功能，它会自动将多个请求合并为批量处理，提升GPU资源利用率，进而提高整体吞吐量。部署时的配置示例：

predictor = model.deploy(
    accept_eula=False,
    endpoint_kwargs={
        "ProductionVariants": [
            {
                "VariantName": "default",
                "InitialInstanceCount": 1,
                "InstanceType": "ml.g5.12xlarge",
                "DynamicBatchingConfiguration": {
                    "MaxBatchSize": 8,
                    "BatchStrategy": "MULTI_RECORD"
                }
            }
        ]
    }
)

三、MultiDataModel专属优化 #

• 分组部署同类型模型：如果在MultiDataModel中部署多个Llama3变体（如不同微调版本），将资源需求相近的模型放在同一实例类型的端点上，避免资源浪费，保证每个模型都能获得充足计算资源。
• 共享基础模型权重：对于基于同一Llama3基础模型的微调版本，利用MultiDataModel特性共享基础权重，减少模型加载时的内存占用，加快模型切换和加载速度，降低冷启动延迟。

四、其他优化手段 #

• 开启模型缓存：启用SageMaker的模型缓存功能，避免重复加载模型，减少冷启动时间，尤其适合MultiDataModel中频繁切换模型的场景。
• 使用量化模型：选择FP8或INT4/INT8量化后的Llama3模型，减少显存占用，提升推理速度。JumpStart中部分Llama3模型提供量化版本，可选择带-quantized后缀的model_id直接部署。

内容的提问来源于stack exchange，提问作者celsofranssa