部署自定义模型

基本信息

项目

固定为当前选择的项目。

一体机

选择需要部署模型服务的一体机。

服务名称

为模型服务设置名称。输入要求如下：

• 只能使用以下字符：汉字、英文大小写字母、数字、下划线（_）、连字符（-）。
• 长度不超过 32 个字符。特殊字符不能用在开头和结尾，也不能连续使用。
• 在同一台一体机上，模型服务的名称必须唯一。

模型信息

模型

固定为当前选择的自定义模型。

模型版本

选择要部署的模型版本。

模型前后处理版本

选择要部署的模型前后处理版本。关于前后处理版本的详细说明，请参见为自定义模型创建版本。

服务配置

服务状态类型

固定为 无服务状态。

最大批处理大小

设置最大批处理数量。取值范围：0 ~ 100。

HTTP端口

输入 HTTP 服务端口。端口范围：30000 ~ 40000。
您设置的 HTTP 端口不能是一体机中已被其他服务占用的端口。

GRPC端口

输入 GRPC 服务端口。端口范围：30000 ~ 40000。
您设置的 GRPC 端口不能是一体机中已被其他服务占用的端口。

部署实例

为每个子模型分别配置 CPU模型服务实例数 和 GPU模型服务实例数。

• 当 模型 是 Ensemble 之外的类型时，子模型有一个；当 模型 是 Ensemble 类型时，有多个子模型。更多信息，请参见创建自定义模型。
• CPU模型服务实例数 表示预期在 CPU 上水平扩展的模型服务的数量。取值范围：0 ~ 100。
• GPU模型服务实例数 表示预期在 GPU 上水平扩展的模型服务的数量。取值范围：0 ~ 100。

资源配置

为模型服务分配一体机资源。

• CPU配额：容器需要使用的最小 CPU 核数。单位：Core。使用一位小数表示。取值范围：0.1 ~ 128.0。
• CPU限额：容器可以使用的最大 CPU 核数。单位：Core。使用一位小数表示。取值范围：0.1 ~ 128.0。
• 内存配额：容器需要使用的最小内存值。单位：MB 或 GB。使用整数表示。取值范围：0MB ~ 128GB。
• 内存限额：容器可以使用的最大内存值。单位：MB 或 GB。使用整数表示。取值范围：0MB ~ 128GB。

高级配置

动态批处理

设置是否开启动态批处理功能。该功能让模型服务器得以将多个推理请求组合，动态地生成一个批次。一般来说，创建请求批次可以优化吞吐量。

最大批处理延迟

设置批处理延迟的最大时间。单位：us。取值范围：0~1000000。超过该时间会立刻开始推理。

是否开启压缩模式

选择是否采用输入压缩模式来部署模型服务。

在模型服务与数据流分开部署的场景（如云边协同）建议开启输入压缩模式。开启输入压缩模式后，模型服务的部署会自动转化为一个 Ensemble 联合模型服务的部署，它包含三部分：Ensemble 模型，Python 前处理模型以及您选择的模型本身。
在这种模式下，整个 Ensemble 模型的输入图片 Tensor 会变成压缩后的 jpeg string。相对于原始模型，输入 Tensor 的大小有大幅度的缩小。Python 前处理模型则是用来将压缩后的 jpeg string 恢复成原始模型的输入 Tensor。

示例：
假设原始模型的图片输入 Tensor 大小是 3×640×640，因此该输入 Tensor 大小是 4.6875MB。而压缩后，输入 Tensor 大小仅仅是 jpeg string 的大小，大约是几十 KB。

参数配置

您可以通过该参数自定义参数配置，并将您的参数配置发送到一体机。