服务名称

• 填写服务的名称。 必填 。

• 支持1～200位可见字符，且只包含大小写字母、中文、数字、中划线、下划线。

• 服务名称可重复。

服务描述

• 填写对服务的适当描述。 选填 。

• 支持 1～500 位可见字符。

网络类型

支持「公共网关」和「专属私有网关」两种网络类型，默认为「公共网关」。

• 使用公共网关：则默认使用平台提供的公共网络，用户无需配置其他网络信息，部署完的服务即可公网调用。

• 使用专属私有网关：当用户对网络带宽要求极高，且需保证稳定流量，即可使用「专属私有网关」。

  • 私有网络：

    • 需要配置用户的私有网络、子网及安全组，从而用户私网环境下可调用在平台上创建的服务。必填。

    • 私有网络一经创建则不可编辑修改，且服务的负载均衡器与部署独立使用的负载均衡器均需使用该私有网络。请谨慎确认选择。

  • 负载均衡器：

    • 通过负载均衡提高服务可用性和可靠性，满足服务高访问量的业务场景，选填。

    • 支持 API 网关（七层负载均衡器）和传输层负载均衡器（四层负载均衡器，以下简称 CLB ）两种类型负载均衡器，开启负载均衡器后，默认推荐使用 API 网关。

    • 若需要公网访问到该服务，则需要选择配置了公网IP的负载均衡。详见文档 API网关文档和CLB文档。

  • 负载均衡调度算法：

    • API 网关支持四种调度算法，分别为「轮询」、「最小连接数」、「随机」以及「一致性哈希」。当选择为「一致性哈希」时则需要配置哈希方式，即输入「Header字段名称」。

      • 轮询：将所有请求依次分发到服务中的每个部署。

      • 随机：请求随机分配到服务中的各个部署。

      • 最小连接数：将请求分配到目前处理请求数最少的部署中。

      • 一致性哈希：基于 header 信息进行负载均衡，在后端服务数量不变的情况下，确保携带信息相同的用户可固定访问部署中的同一个实例。

    • CLB 支持三种调度算法，分别为「加权轮询」、「加权最小连接数」以及「源地址哈希」。

      • 加权轮询：选择该调度算法后，权重值越高的后端服务器，被轮询到的次数（概率）越高。权重配置可见「分流策略」中说明。

      • 加权最小连接数：选择该调度算法后，负载均衡器会将请求分发给“当前连接/权重”比值最小的后端服务器。单请求处理耗时较长（如大模型）场景，可以考虑选择WLC方法。

      • 源地址哈希：选择该调度算法后，负载均衡器将基于源IP地址的一致性哈希，相同的源地址会调度到相同的后端服务器。

  • 分流侧露：

    • API 网关仅支持一种分流策略，即「自定义分流」。故在创建服务时不需选择。

    • CLB（传输层负载均衡器）支持两种分流策略，分别为「按实例数自动分流」以及「自定义分流」。详细配置说明可参考 配置服务分流策略

端口

• 支持自定义监听端口和调用端口，请确保安全组规则已方通需要配置的端口。选填。

• 监听端口限制范围：1-29999、32768-65535。

• 调用端口限制范围：1-65535。

• API 网关端口用途：支持HTTP/1.1、HTTP2、GRPC、Metrics、Other。

• CLB 端口用途：支持 HTTP、RPC、Metrics、Other。

• 当端口用途为Metrics 时支持额外填写自定义指标的采集路径，平台会将该路径下的指标数据推送到用户指定的 VMP工作区（需要提前在【全局配置】模块中开启监控归档的功能）。

• 端口限制：

  • 最多可添加5个端口，除 Metrics 端口，其他用途端口及路径都不能冲突。

  • 一个服务下，仅支持创建一个Metrics 端口。

  • API 网关仅支持创建一个 GRPC 用途端口，且路径必须为“/”。

模型

• 支持「快速入门」和「模型仓库」两种来源，默认为「快速入门」。选择后则可直接挂载该模型，无需额外挂载存储服务。选填 。

  • 快速入门：支持直接选择「快速入门」中支持「一键部署」功能的模型。

  • 模型仓库：配合「模型仓库」，您可以选择「模型仓库」中的模型进行推理操作。 选填 。

计算规格

• 实例数：

  • 单副本实例数量，一般用于多机并行推理，作为弹性扩缩的基本单位。若设置实例数为 2，则每次扩容/缩容 1 个副本，会同时创建/删除 2 个实例

  • 流量请求入口默认为每个副本的 Pod 0 实例

• 实例规格：运行部署的计算资源。 必填 。每种计算规格包含特定的CPU、内存、GPU的数量。

滚动更新

支持配置滚动更新的策略，必填。

• 最大不可用：滚动更新过程中不可用实例的数量占预期实例数的百分比。假设预期实例数为10，最大不可用为20%，则更新过程中可用的实例数最少有8个
• 最大超量：滚动更新过程中超出预期的实例数量占预期实例数的百分比。假设预期实例数为10，最大超量为10%，则更新过程中实例数最多可达11个

健康检查

• 支持三种健康检查，分别为「存活检查」、「就绪检查」以及「启动检查」。
  • 存活检查：用于判断实例是否存活（running状态），如果存活探针探测到实例不健康，则会杀掉该实例并根据策略进行重启。
  • 就绪检查：用于判断实例是否启动完成（ready状态），可以接收请求。
  • 启动检查：用于判断应用是否已经启动，如果提供了启动探针，则禁用所有其他探针，直到它成功为止。如果启动探针失败，平台将杀掉实例并根据策略进行重启。
• 检查方式
  • HTTP 请求检查：使用 HTTP 或 HTTPS 协议，向容器发送一个 HTTP Get 请求，通过检查响应确认容器状态。您需要进行如下检查配置：
    • 协议：HTTP 或 HTTPS。
    • HTTP 请求头：HTTP 请求中自定义的请求头（HTTP Headers）。单击「添加」输入键值对的配置方式。
    • 路径：访问 HTTP Server 的路径。
    • 端口：容器暴露的访问端口号或端口名称。必填
  • TCP 端口检查：向容器发送一个TCP Socket，Kubelet将尝试在指定端口上打开容器的 Socket。 如果可以建立连接，容器被认为是健康的，如果不能就认为是失败的。您需要进行如下检查配置：
    • 端口：容器暴露的访问端口号或端口名称。必填
  • 执行命令检查：在容器内执行指定的命令，通过检查命令执行的结果确认容器状态。 您需要进行如下检查配置：
    • 命令：检测容器健康情况的探测命令。
• 检查时间参数
  • 初始等待时间：指容器启动后，第一次执行探测时需要等待的时间，默认为1秒。
  • 超时时间：指发送检查请求后，等待响应的超时时间。超过此时间表示容器无响应，默认为1秒。
  • 检查间隔：相邻两次检查的时间间隔。默认为10秒。配置检查的结果阈值。包括：
    • 成功阈值：检查请求发送后，表示系统正常的响应次数，默认为1次。该项不可配置。
    • 失败阈值：检查请求发送后，表示系统异常的无响应次数，默认为3次。即如果容器对请求3次无响应，则认为容器状态异常。

端口

支持部署中新增自定义监听端口和调用端口，但请确保安全组规则已方通需要配置的端口。选填。

• 监听端口限制范围：1-29999、32768-65535。
• 调用端口限制范围：1-65535。
• API 网关端口用途：支持HTTP/1.1、HTTP2、GRPC、Metrics、Other。
• CLB 端口用途：支持 HTTP、RPC、Metrics、Other。
• 当端口用途为Metrics 时支持额外填写自定义指标的采集路径，平台会将该路径下的指标数据推送到用户指定的 VMP工作区（需要提前在【全局配置】模块中开启监控归档的功能）。
• 端口限制：
  • 部署端口默认会继承在服务中配置的端口。
  • 包括服务中配置的端口，最多可添加5个端口，且端口及路径都不能冲突。
  • API 网关仅支持创建一个 GRPC 用途端口，且路径必须为“/”。