整体流程说明

1.准备工作

步骤1：物理资源准备

准备一台128GB以上内存物理机器，并安装好Python3环境（建议使用Anaconda环境，避免依赖冲突）。

步骤2：Jeddak Secure Model SDK下载与安装

执行以下脚本，安装Jeddak Secure Model SDK（点此下载）。

export VERSION=0.1.7.28
pip3 install bytedance.jeddak_secure_channel-${VERSION}-py3-none-any.whl

2.私有模型发布与部署

步骤1：参数准备

1. 准备将模型上传的TOS桶的名称，按照如下进行：
   1. 登录火山引擎，进入对象存储，创建对象存储TOS的桶，并记住【bucket_name】。创建存储桶的时候需选择华北2（北京区域），对应的region为cn-beijing。

2. 在火山引擎页面查看账号ID，如下图所示，并记录此ID为【app_id】。

3. 点击火山账号，选择“API访问密钥”，新建该账号的【AK】、【SK】。

步骤2：脚本执行

wget https://lf3-static.bytednsdoc.com/obj/eden-cn/jzeh7vhobenuhog/model_automation_tool.py
python3 model_automation_tool.py \
    --app_id '' \    #火山账号ID【app_id】---必填
    --AK '' \        #火山账号访问AK【AK】---必填
    --SK '' \        #火山账号访问SK   【SK】---必填
    --bucket_name '' \  #火山引擎上创建的TOS桶名称   【bucket_name】---必填
    --region 'cn-beijing' \    #区域，固定值：cn-beijing
    --endpoint 'tos-cn-beijing.volces.com' \    #TOS服务端点，固定值：tos-cn-beijing.volces.com
    --model_path  ''\   #本地的私有模型文件路径 【按照实际情况填写】---必填
    --ring_id '' \    #密钥环ID（选填），如果设置为''，则会自动创建一个密钥环
    --ring_name '' \    #密钥环名称，ring_name不能重复，否则会报错【自定义】---必填
    --ring_desc '' \    #密钥环描述（选填）
    --key_name '' \    #密钥名称 【自定义】---必填
    --key_desc '' \    #密钥描述（选填）
    --service 'pcc' \    #服务名，固定值：pcc
    --policy_id '9eb6b259-a3fe-580c-90c5-ef20a92309c8' \    #策略ID，固定值
    --model_name '' \    #PCC内展示的模型名称，如：PrivateModel 【自定义】---必填
    --model_version '' \    #PCC内展示的模型版本，如V1.0 【自定义】---必填
    --model_description '' \    #PCC内展示的模型描述（选填）
    --cu_type '' \    #CU类型，可选择Basic,Advanced,Enterprise,分别是基础版、高级版、旗舰版，不同CU类型支持的模型尺寸上限有所不同 ---必填
    --replica_count '' \    #副本数量（实例个数），取决于可用的CU数量---必填
    --inference_engine '' \    #推理引擎，可选择vllm与sglang，基础版仅支持vllm,高级版支持vllm和sglang，旗舰版仅支持sglang---必填
    -s \    #是否对http请求的日志静默，默认值为静默，未设置为不静默
    -e    #是否开启对模型加密，默认为对模型加密，未设置为不加密

3.推理服务联调

• 明文接口
  • 准备completion_plain.py脚本
  • 执行以下命令

export ip={替换为你的模型服务地址}
export model_name={替换为合适的模型名称}
python3 completion_plain.py