整体流程说明 #

开源模型发布与部署 #

步骤1：模型发布 #

• 进入【模型管理服务】模块，点击「发布模型」；
• 切换「模型类型」为“开源模型”，字段填写如下：
  • 填写模型名称，自定义；
  • 模型版本，自定义；
  • 模型描述，自定义；
  • 选择开源模型后，点击「确定」完成发布。

步骤2：模型部署 #

• 进入【模型管理服务】模块，选择刚刚已发布且处于【待部署】状态的模型所在列，点击「部署」按钮，
• 选择AICC规格、推理框架和实例个数等，AICC将根据默认参数进行部署。

• 部署成功后，可看到模型部署状态变化，如下图：

步骤3：模型测试 #

• 进入【模型管理服务】模块，选择刚刚已部署成功的模型所在列，点击「测试」按钮，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。
  

推理服务联调 #

步骤1：终端服务绑定终端节点 #

1. 在 机密容器管理列表页，复制【终端服务】名称，并点击「绑定」按钮，跳转到创建终端节点页面。
   
2. 配置终端节点信息，完成终端服务与终端节点的绑定。
   

• 网络配置-私有网络选择前置条件中建立的私有网络，并选择相应的可用区下的子网

  

• 网络配置-安全组需要配置新的访问规则，放通最终访问机密容器服务所需的端口范围

  • 需要配置的访问规则示例：

    • 对源地址为私有网络所在IP段172.16.0.0/24，允许入方向TCP协议访问端口范围8080, 8086-8080，优先级设为1（最高优先级）
    

    访问规则具体说明参考安全组概述--私有网络-火山引擎

  • 如果需要新建安全组，参考创建安全组--私有网络-火山引擎

  • 如果需要修改已有安全组的访问规则，参考管理安全组规则--私有网络-火山引擎

  • 将配置好的安全组绑定到终端节点

  

• 配置完毕，点击立即购买

步骤2：获取终端节点IP #

• 进入 机密容器服务模块，点击终端节点名称，跳转到终端节点详情页

• 点击可用区与网卡页签，记录终端节点的IP地址

步骤3：推理服务测试 #

参考第3步：推理服务测试