整体流程说明

开源模型发布与部署

步骤1：模型发布

• 进入【模型管理服务】模块，点击「发布模型」；
• 切换「模型类型」为“开源模型”，字段填写如下：
  • 填写模型名称，自定义；
  • 模型版本，自定义；
  • 模型描述，自定义；
  • 选择开源模型后，点击「确定」完成发布。

步骤2：模型部署

• 进入【模型管理服务】模块，选择刚刚已发布且处于【待部署】状态的模型所在列，点击「部署」按钮，
• 选择AICC规格、推理框架和实例个数等，AICC将根据默认参数进行部署。

• 部署成功后，可看到模型部署状态变化，如下图：

步骤3：模型测试

• 进入【模型管理服务】模块，选择刚刚已部署成功的模型所在列，点击「测试」按钮，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。
  

推理服务联调

步骤1：终端服务绑定终端节点

1. 在 机密容器管理列表页，复制【终端服务】名称，并点击「绑定」按钮，跳转到创建终端节点页面。
   
2. 配置终端节点信息，完成终端服务与终端节点的绑定。
   

• 网络配置-私有网络选择前置条件中建立的私有网络，并选择相应的可用区下的子网

  

• 网络配置-安全组需要配置新的访问规则，放通最终访问机密容器服务所需的端口范围

  • 需要配置的访问规则示例：

    • 对源地址为私有网络所在IP段172.16.0.0/24，允许入方向TCP协议访问端口范围8080, 8086-8080，优先级设为1（最高优先级）
    

    访问规则具体说明参考安全组概述--私有网络-火山引擎

  • 如果需要新建安全组，参考创建安全组--私有网络-火山引擎

  • 如果需要修改已有安全组的访问规则，参考管理安全组规则--私有网络-火山引擎

  • 将配置好的安全组绑定到终端节点

  

• 配置完毕，点击立即购买

步骤2：获取终端节点IP

• 进入 机密容器服务模块，点击终端节点名称，跳转到终端节点详情页

• 点击可用区与网卡页签，记录终端节点的IP地址

步骤3：推理服务测试

• 测试接口

  • 准备completion_plain.py脚本
  • 执行以下命令

  export ip={替换为你的模型服务地址}
  export model_name={替换为合适的模型名称}
  python3 completion_plain.py
  

• 正式接口

  • 新建completion_cipher.py文件
  • 新建client_config.json

  {
    "ra_url": "open.volcengineapi.com",
    "ra_service_name": "替换成机密容器界面的service-name",
    "ra_policy_id": "9eb6b259-a3fe-580c-90c5-ef20a92309c8",
    "ra_uid": "替换成自己火山账号的uid",
    "bytedance_top_info": "{\"ak\": \"按照实际情况填写\", \"sk\": \"按照实际情况填写\", \"service\": \"pcc\"}",
    "attest_interval": 3600
  }
  

  • 执行以下命令

  export ip={替换为你的模型服务地址}
  export model_name={替换为合适的模型名称}
  python3 completion_cipher.py