使用官方模型

服务名称

为模型服务设置名称。输入要求如下：

• 可使用的字符包括：中文字符、英文大小写字母、数字、下划线（_）、连字符（-）。
• 长度必须在 32 个字符以内。特殊字符不能用作开头或结尾，且不能连续使用。
• 在一台一体机上，模型服务的名称必须唯一。

HTTP端口

输入 HTTP 服务端口。端口范围：30000 ~ 40000。
您设置的 HTTP 端口不能是一体机中已被其他服务占用的端口。

GRPC端口

输入 GRPC 服务端口。端口范围：30000 ~ 40000。
您设置的 GRPC 端口不能是一体机中已被其他服务占用的端口。

部署实例

为每个子模型分别配置 CPU模型服务实例数 和 GPU模型服务实例数。

• 当 模型 是 Ensemble 之外的类型时，子模型有一个；当 模型 是 Ensemble 类型时，有多个子模型。更多信息，请参见创建自定义模型。
• CPU模型服务实例数 表示预期在 CPU 上水平扩展的模型服务的数量。取值范围：0 ~ 100。
• GPU模型服务实例数 表示预期在 GPU 上水平扩展的模型服务的数量。取值范围：0 ~ 100。

资源配置

为模型服务分配一体机资源。

• CPU配额：容器需要使用的最小 CPU 核数。单位：Core。使用一位小数表示。取值范围：0.1 ~ 128.0。
• CPU限额：容器可以使用的最大 CPU 核数。单位：Core。使用一位小数表示。取值范围：0.1 ~ 128.0。
• 内存配额：容器需要使用的最小内存值。单位：MB 或 GB。使用整数表示。取值范围：0MB ~ 128GB。
• 内存限额：容器可以使用的最大内存值。单位：MB 或 GB。使用整数表示。取值范围：0MB ~ 128GB。

最大批处理延迟

设置批处理延迟的最大时间。单位：us。取值范围：0~1000000。超过该时间会立刻开始推理。

是否开启压缩模式

选择是否采用输入压缩模式来部署模型服务。

在模型服务与数据流分开部署的场景（如云边协同）建议开启输入压缩模式。开启输入压缩模式后，模型服务的部署会自动转化为一个 Ensemble 联合模型服务的部署，它包含三部分：Ensemble 模型，Python 前处理模型以及您选择的模型本身。
在这种模式下，整个 Ensemble 模型的输入图片 Tensor 会变成压缩后的 jpeg string。相对于原始模型，输入 Tensor 的大小有大幅度的缩小。Python 前处理模型则是用来将压缩后的 jpeg string 恢复成原始模型的输入 Tensor。

示例：
假设原始模型的图片输入 Tensor 大小是 3×640×640，因此该输入 Tensor 大小是 4.6875MB。而压缩后，输入 Tensor 大小仅仅是 jpeg string 的大小，大约是几十 KB。

参数配置

您可以通过该参数自定义参数配置，并将您的参数配置发送到一体机。