整体流程说明

开源模型发布与部署

步骤1：模型发布

• 进入【模型管理服务】模块，点击「发布模型」；
• 切换「模型类型」为“开源模型”，字段填写如下：
  • 填写模型名称，自定义；
  • 模型版本，自定义；
  • 模型描述，自定义；
  • 选择开源模型后，点击「确定」完成发布。

步骤2：模型部署

• 进入【模型管理服务】模块，选择刚刚已发布且处于【待部署】状态的模型所在列，点击「部署」按钮，
• 选择PCC规格、推理框架和实例个数等，PCC将根据默认参数进行部署。

• 部署成功后，可看到模型部署状态变化，如下图：

步骤3：模型测试

• 进入【模型管理服务】模块，选择刚刚已部署成功的模型所在列，点击「测试」按钮，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。

推理服务联调

• 明文接口
  • 准备completion_plain.py脚本
  • 执行以下命令

export ip={替换为你的模型服务地址}
export model_name={替换为合适的模型名称}
python3 completion_plain.py