部署LLaVA模型至SageMaker后调用报错：找不到计算引擎求助

以下是针对该错误的排查和解决步骤：

• 检查请求方式与格式
  错误信息明确提到GET，但SageMaker多模态模型推理必须使用POST请求。同时LLaVA作为多模态模型，请求payload必须包含文本指令和base64编码的图像数据，不能仅传文本。示例正确请求格式：

  {
    "prompt": "描述这张图片的内容",
    "image": "iVBORw0KGgoAAAANSUhEUgAA...（完整base64图像字符串）"
  }
  

• 验证推理脚本的正确性
  确认部署时使用的推理脚本（如model.py）正确实现了LLaVA的多模态推理逻辑：

  • 检查input_fn是否能正确解析包含图像和文本的请求数据
  • 确认脚本中完整加载了视觉编码器和语言模型权重，没有遗漏初始化步骤
  • 确保predict_fn中正确处理图像张量与文本输入的拼接逻辑

• 核对实例类型与资源配置
  LLaVA必须部署在GPU实例上（如g4dn.xlarge、g5.xlarge及以上规格），CPU实例无法运行多模态模型推理。同时要保证实例显存足够加载模型：7B参数的LLaVA至少需要10GB以上显存，显存不足会导致模型加载不完整，引发引擎错误。

• 检查模型包完整性
  确认上传到S3的模型压缩包（tar.gz）包含所有必要文件：

  • 完整的LLaVA模型权重（含视觉编码器和语言模型）
  • 推理脚本、模型配置文件
  • 依赖清单requirements.txt，确保所有依赖（如transformers、torchvision等）版本匹配

• 查看容器日志定位细节
  登录CloudWatch，找到对应端点的模型容器日志，查看完整错误堆栈：

  • 检查是否有模型加载失败、依赖缺失、张量形状不匹配等具体报错
  • 重点关注日志中模型初始化阶段的输出，确认视觉和语言组件是否成功加载

内容的提问来源于stack exchange，提问作者makala