求助：Sagemaker微调Llama 3.1 Instruct 8B端点带上下文调用报错

问题现象 #

• 在SageMaker Jumpstart完成Llama 3.1 Instruct 8B模型微调并部署端点后：
  • 无知识库上下文时，推理流程正常；
  • 添加知识库上下文后，触发报错：

    botocore.errorfactory.ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0) from primary with message "Connection reset by peer for the llama-3-1-8b-instruct-2024-10-31-15-14-54-211 endpoint. Please retry."
    

  • CloudWatch日志仅输出：

    [WARN ] InferenceRequestHandler - Chunk reading interrupted
    java.lang.IllegalStateException: Read chunk timeout.
    

排查与解决步骤 #

• 调整端点超时配置：添加上下文后输入token量剧增，默认超时时间不足以完成推理。进入SageMaker端点配置页，将InvocationTimeout和ContainerStartupHealthCheckTimeout参数调大（例如从60秒修改为300秒）。
• 校验输入token长度：Llama 3.1 Instruct 8B默认上下文窗口为8k token，若知识库上下文+prompt总token超过该阈值，会引发处理异常。用对应tokenizer计算总token数，超出时可选择截断上下文、启用模型上下文扩展功能（若支持），或更换更大上下文窗口的模型版本。
• 升级端点实例规格：当前实例算力/显存不足，处理大上下文时资源耗尽导致连接中断。尝试升级实例（如从ml.g5.xlarge切换到ml.g5.2xlarge及以上），确保显存能承载大上下文推理需求。
• 检查推理请求格式：确认带上下文的prompt是否严格符合Llama 3.1 Instruct的格式要求（正确使用模型指定的分隔符，如<|begin_of_solution|>、<|end_of_solution|>），格式错误可能导致模型处理卡住超时。
• 获取更详细日志：开启SageMaker端点的详细日志记录，或尝试访问容器内部推理日志（若有权限），排查是否存在显存不足（OOM）等底层错误。

内容的提问来源于stack exchange，提问作者CS Diary