概述

模型管理服务（Model Management Service，MMS）是一套可对用户加密模型实现在线发布和自动化部署的服务，能够保障用户私有模型在云上的安全性。

开源模型

PCC当前已支持DeepSeek等常用开源模型的快速部署。

发布开源模型

点击「发布模型」，切换「模型类型」为“开源模型”，填写模型名称、模型版本、模型描述，并指定开源模型后，点击「确定」完成发布。

部署开源模型

发布完成后，在模型列表选择该模型点击「部署」，并确认PCC规格、推理框架和实例个数等，PCC将根据默认参数进行部署。需要说明的是，不同尺寸模型，部署耗时会有差异。

私有模型

PCC支持将私有模型加密后做部署。

一键部署

强烈推荐使用此方式。

1. 准备一台128GB以上内存物理机器，并安装好Python3环境（建议使用Anaconda环境，避免依赖冲突）。
2. 执行以下脚本，安装Jeddak Secure Model SDK（点此下载）。

export VERSION=0.1.7.28
pip3 install bytedance.jeddak_secure_channel-${VERSION}-py3-none-any.whl

3. 准备模型，准确填写以下信息并执行，即可完成私有模型一键部署。

wget https://lf3-static.bytednsdoc.com/obj/eden-cn/jzeh7vhobenuhog/model_automation_tool.py
python3 model_automation_tool.py \
    --app_id '' \    #火山账号ID
    --AK '' \        #火山账号访问AK
    --SK '' \        #火山账号访问SK   
    --bucket_name '' \  #火山引擎上创建的TOS桶名称   
    --region 'cn-beijing' \    #区域，固定值：cn-beijing
    --endpoint 'tos-cn-beijing.volces.com' \    #TOS服务端点，固定值：tos-cn-beijing.volces.com
    --model_path  ''\   #本地的私有模型文件路径
    --ring_id '' \    #密钥环ID（选填），如果设置为''，则会自动创建一个密钥环
    --ring_name '' \    #密钥环名称，ring_name不能重复，否则会报错
    --ring_desc '' \    #密钥环描述（选填）
    --key_name '' \    #密钥名称
    --key_desc '' \    #密钥描述（选填）
    --service 'pcc' \    #服务名，固定值：pcc
    --policy_id '9eb6b259-a3fe-580c-90c5-ef20a92309c8' \    #策略ID，固定值：9eb6b259-a3fe-580c-90c5-ef20a92309c8
    --model_name '' \    #PCC内展示的模型名称，如：PrivateModel
    --model_version '' \    #PCC内展示的模型版本，如V1.0
    --model_description '' \    #PCC内展示的模型描述（选填）
    --cu_type '' \    #CU类型，可选择Basic,Advanced,Enterprise,分别是基础版、高级版、旗舰版，不同CU类型支持的模型尺寸上限有所不同
    --replica_count '' \    #副本数量（实例个数），取决于可用的CU数量
    --inference_engine '' \    #推理引擎，可选择vllm与sglang，基础版仅支持vllm,高级版支持vllm和sglang，旗舰版仅支持sglang
    -s \    #是否对http请求的日志静默，默认值为静默，未设置为不静默
    -e    #是否开启对模型加密，默认为对模型加密，未设置为不加密

手动部署

准备工作

1. 准备一台128GB以上内存物理机器，并安装好Python3环境（建议使用Anaconda环境，避免依赖冲突）。
2. 执行以下脚本，安装Jeddak Secure Model SDK（点此下载）。

export VERSION=0.1.7.28
pip3 install bytedance.jeddak_secure_channel-${VERSION}-py3-none-any.whl

3. 准备模型，例如Qwen32B模型，安装如下目录进行组织，文件夹名称为模型的名称，文件夹内文件为明文模型文件。

4. 登录火山引擎，进入对象存储，创建对象存储TOS的桶，并记住bucket_name。创建存储桶的时候需选择华北2（北京区域），对应的region为cn-beijing。

5. 在火山引擎页面查看账号ID，如下图所示，并记录此ID为app_id。

6. 点击火山账号，选择“API访问密钥”，新建该账号的AK、SK。

7. 使用如下脚本（脚本命名为sdk.py）实现对模型的压缩、加密、创建密钥、上传TOS。

from bytedance.jeddak_secure_model.model_encryption import EncryptionConfig, JeddakModelEncrypter

if __name__ == "__main__":
    model_path = "/root/pcc/Qwen32B"  # 模型的文件夹路径
    bucket_name = "llmmodels"  # 创建TOS的存储桶
    # 火山账号的ak sk
    volc_ak = "your access key"
    volc_sk = "your secret key"
    region = "cn-beijing" # 存储桶的区域，对应的映射关系见步骤5
    endpoint = "tos-cn-beijing.volces.com"
   
    ring_id = ""   # 选填，如已有密钥环，在此填写密钥环ID；如未填，则会根据`ring_name` 自动创建密钥环
    ring_name = "Qwen32B-Ring"  # 自定义密钥环名称
    ring_desc = "Ring for Qwen32B" # 添加对密钥环的描述
    key_name = "Qwen32BKey"  # 自定义密钥名称
    key_desc = "Key for Qwen32B"   # 添加对可信密钥的描述
    app_id = "your account id"  # 火山页面查看自己账号的app_id
    service = "pcc" 
    
    # 目前参数传空的
    config = EncryptionConfig("", "")
    encrypter = JeddakModelEncrypter(config)

    res = encrypter.encrypt_model_and_upload(
        model_path=model_path,
        bucket_name=bucket_name,
        volc_ak=volc_ak,
        volc_sk=volc_sk,
        region=region,
        endpoint=endpoint,
        ring_id=ring_id,
        ring_name=ring_name,
        ring_desc=ring_desc,
        key_name=key_name,
        key_desc=key_desc,
        app_id=app_id,
        service=service
    )

    print(res)

8. 运行上述脚本

python3 sdk.py

9. 获取加密模型相关信息

10. 前往火山引擎官网的对象存储获取通过SDK自动上传的加密模型存储路径。密文模型一般会被切分为多个part，点击首个part的「详情」，获取该part对应的URL为https://llmmodels.tos-cn-beijing.volces.com/model_name/enc-part-00000，将此路径的后缀“enc-part-00000”去掉，则得到了完整密文模型对应的URL。

发布加密模型
通过模型管理服务「发布模型」入口，弹窗填写相关字段信息后，完成加密模型发布。模型名称、模型版本、加密密钥、基线值、TOS地址等信息均已在 【准备工作】环节获取。

部署加密模型
对于已发布且处于【待部署】状态的模型，点击「部署」后，选择PCC规格、推理框架和实例个数等，PCC将根据默认参数进行部署。需要说明的是，不同尺寸模型，部署耗时会有差异。

检测模型状态

完成部署的模型，可点击「测试」，对模型可用性做检测，检测通过则状态从【未测试】更新为【测试成功】。