整体流程说明

开源模型发布与部署

步骤1：模型发布

• 进入【模型管理服务】模块，点击「发布模型」；
• 切换「模型类型」为“开源模型”，字段填写如下：
  • 填写模型名称，自定义；
  • 模型版本，自定义；
  • 模型描述，自定义；
  • 选择开源模型后，点击「确定」完成发布。

步骤2：模型部署

• 进入【模型管理服务】模块，选择刚刚已发布且处于【待部署】状态的模型所在列，点击「部署」按钮，
• 选择AICC规格、推理框架和实例个数等，AICC将根据默认参数进行部署。

• 部署成功后，可看到模型部署状态变化，如下图：

步骤3：模型测试

• 进入【模型管理服务】模块，选择刚刚已部署成功的模型所在列，点击「测试」按钮，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。
  

推理服务联调

• 明文接口

  • 准备completion_plain.py脚本
  • 执行以下命令

  export ip={替换为你的模型服务地址}
  export model_name={替换为合适的模型名称}
  python3 completion_plain.py
  

• 密文接口

  • 新建completion_cipher.py文件
  • 新建client_config.json

  {
    "ra_url": "open.volcengineapi.com",
    "ra_service_name": "替换成机密容器界面的service-name",
    "ra_policy_id": "9eb6b259-a3fe-580c-90c5-ef20a92309c8",
    "ra_uid": "替换成自己火山账号的uid",
    "bytedance_top_info": "{\"ak\": \"按照实际情况填写\", \"sk\": \"按照实际情况填写\", \"service\": \"pcc\"}",
    "attest_interval": 3600
  }
  

  • 执行以下命令

  export ip={替换为你的模型服务地址}
  export model_name={替换为合适的模型名称}
  python3 completion_plain.py