容器服务基于 Katalyst（字节跳动开源的资源管理系统）为 Pod 提供 CPU Burst 能力。 ## 背景信息在 Kubernetes 中，CPU Burst 是一种优化策略，用于提升延迟敏感型应用的容器性能表现。它允许容器在 CPU 空闲时积累一些 CPU 时间片，用于满足突发时的资源需求，进而提升容器性能、降低延迟指标。 CPU Burst 策略的工作原理是在容器的 CPU 使用量低于其 CPU Limit 时，积累额外的 CPU 时间片，这些时间片可以在容器需要处理突发任务时使用，例如突然增加的流量或请求。当容器需要在短时间内处理更多任务时，它可以利用这些积累的时间片来避免 CPU 限流（CPU Throttle）问题，从而减少响应时间延迟。 VKE 在内核 CPU Burst 基础上，通过调节内核`cpu.cfs_quota_us`参数，允许容器在节点有空闲算力时临时突破 Limit，少量超额使用 CPU，平稳度过流量尖峰，无需调大规格即可改善响应延迟。 ## 使用限制 * 目前仅支持为云服务器（ECS）方式部署的 Pod 开启 CPU Burst 能力，以弹性容器实例（VCI）方式部署的 Pod 暂不支持。 * 同一个集群只支持 Cgroup v2 或 Cgroup v1 版本节点开启 CPU Burst 能力。 * Cgroup v2 版本节点使用该功能依赖 v0.5.13\-vke.11 及以上版本的 katalyst 组件，且需要为 katalyst\-agent daemonset 服务增加`--cgroup-type=systemd`启动参数。 * CPU Burst 能力对如下 VKE 系统组件所在命名空间下的 Pod 不生效： * kube\-system * kube\-flannel * cloudfs\-system * katalyst\-system * kruise\-system * kruise\-daemon\-config * kueue\-system * varmor * apmplus\-opentelemetry\-operator ## 前提条件集群中已创建或添加 ECS 类型的节点。详细操作，请参见 [新增节点](https://www.volcengine.com/docs/6460/100947)、[添加已有节点](https://www.volcengine.com/docs/6460/100950)。 ## 使用方法 ### 步骤一：为节点配置 Label 为需要使用 CPU Burst 能力的 Pod 所在节点添加标签（Label）。 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏选择 **集群**，单击目标集群名称。 3. 在集群管理页面，按如下方式为 Pod 所在节点添加 Label。从节点池维度添加 Label 1. 左侧导航栏选择 **节点管理** \> **节点池**。 2. 在 **节点池** 页面找到目标节点池，单击对应 **操作** 列下的 **编辑**。 3. 在 **编辑节点池** 页面的 **①节点池配置** 步骤 **更多配置** 模块下配置 **节点标签（Labels）** 。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a3d0af5d373eabd199b284a4903a2ee4.png) 4. 根据控制台向导，更新完成节点池配置。从节点维度添加 Label 1. 左侧导航栏选择 **节点管理** \> **节点**。 2. 在 **节点** 页面，找到目标节点，单击对应 **操作** 列下的`...`按钮选择 **标签管理**。 3. 在 **节点详情页** 的 **标签** 页签下单击 **添加标签**，为节点添加如下标签后单击 **确定**。 * **标签键**：`vke.node.katalyst.deploy` * **标签值**：`true` ### 步骤二：安装和配置必要组件在 katalyst 组件中开启 CPU Burst 能力。 1. 在集群管理页面左侧导航栏选择 **组件管理**。 2. 在 **组件管理** 页面的 **调度** 页签，找到 katalyst 组件，单击 **部署**。在 **katalyst 参数配置** 页面勾选 **精细化资源管理** 特性开关并开启 CPU Burst 开关。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_29c6781c8b62c066daf8a9e00df567c5.png) 5. 单击 **确认**，完成组件的安装。 ### 步骤三：为 Pod 开启 CPU Burst 能力容器服务支持从 Pod 或集群两个层面为 Pod 开启 CPU Burst 能力。

注意

关闭 Pod 层面 CPU Burst 功能时，只能通过在 Annotation 中设置cpuBurstPolicy为none来关闭，不能直接删除 Annotation。

关闭集群层面 CPU Burst 功能时，只能通过在 AdminQoSConfiguration CRD 中设置cpuBurstPolicy为none来关闭，不能直接删除 CRD。

详细的操作说明，请参见本文下方 更多操作。

Pod 层面通过为 Pod 添加特定的 Annotation 来为单个 Pod 配置 CPU 弹性策略。Annotation 说明如下表所示。 |**Annotation Key** |**Annotation Value 示例值** |**说明** |**是否必填** | |---|---|---|---| |katalyst.kubewharf.io/cpu_enhancement |'{"cpu_burst_policy":"static","cpu_burst_percent":"100"}' |Pod 的 CPU Burst 能力相关配置，参数值格式为 String[JSON]，详细的子参数说明，请见下方 **JSON 参数说明** 表格。 |否 | **JSON 参数说明** |**Key** |**含义** |**Value 类型** |**取值说明** | |---|---|---|---| |cpu_burst_policy

|CPU Burst 开启/关闭策略。

|String |* **none**：关闭 CPU Burst 策略。

* **static**：（已废弃）静态策略。

注意

static 取值已废弃，之前使用了该取值的用户，推荐使用 cpuBurstOnly 替代。

* **cpuBurstOnly**：仅开启内核 CPU Burst 弹性能力。

注意

CPU Burst 功能仅支持以下节点操作系统镜像：

内核版本为 5.4、5.10、5.15 的 veLinux 公共镜像

内核版本为 5.15 的 Ubuntu 公共镜像

基于上述两个内核版本公共镜像制作的自定义镜像

* **cfsQuotaBurstOnly**：仅开启 CFS Quota 的自动弹性能力。

说明

CFS Quota 弹性功能支持所有操作系统镜像。

注意

-1仅做为初始化值，若您在此处配置完正整数取值后，再改回不限制时，请删除该参数来表示不限制，不能设置为-1。

* 单位：秒。 | 下文以创建无状态负载（Deployment）为例，更多工作负载相关操作，请参见 [工作负载](https://www.volcengine.com/docs/6460/100930)。 1. 通过 kubectl 连接集群。详细操作，请参见 [连接集群](https://www.volcengine.com/docs/6460/100942)。 2. 创建 Deployment 的 YAML 文件。示例文件`cpu-burst-demo.yaml`代码如下： ```YAML apiVersion: apps/v1 kind: Deployment metadata: name: cpu-burst-demo # 无状态负载名称。 namespace: default # 无状态负载所在的命名空间。 spec: replicas: 1 # 无状态负载的副本数。 selector: matchLabels: app: cpu-burst-demo template: metadata: labels: app: cpu-burst-demo annotations: katalyst.kubewharf.io/cpu_enhancement: '{"cpu_burst_policy":"auto","cpu_burst_percent":"100"}' # Pod 的 CPU Burst 能力配置。 spec: containers: - name: container-1 # 容器名称。 image: doc-cn-beijing.cr.volces.com/vke/nginx-demo:v1.0 # 容器镜像地址和 Tag，请替换为您自己的容器镜像。若使用公网镜像，请确保您的集群能够访问公网。 resources: limits: # 容器的 CPU 或内存上限。开启 CPU Burst 能力时，须配置 CPU Limit。 cpu: "4" requests: # 容器的 CPU 或内存请求。 cpu: "2" ``` 3. 执行以下命令创建 Pod。 ```bash kubectl apply -f cpu-burst-demo.yaml ``` 集群层面在集群层面为集群下所有 ECS 方式部署的 Pod 开启 CPU Burst 能力时，需要在 katalyst\-system 命名空间中，配置名为 **katalyst\-config** 的 AdminQoSConfiguration 对象。

说明

katalyst\-system 命名空间在安装 katalyst 组件后，由系统自动生成。

AdminQoSConfiguration 是 katalyst 组件精细化资源管理的配置。

1. 通过 kubectl 连接集群。详细操作，请参见 [连接集群](https://www.volcengine.com/docs/6460/100942)。 2. 创建名为 **katalyst\-config** 的 AdminQoSConfiguration 对象，YAML 文件`katalyst-config.yaml`的示例代码如下： ```YAML apiVersion: config.katalyst.kubewharf.io/v1alpha1 kind: AdminQoSConfiguration metadata: name: katalyst-config # 固定值，AdminQoSConfiguration 对象名称。 namespace: katalyst-system # 固定值，AdminQoSConfiguration 对象所属命名空间。 labels: vke.node.katalyst.deploy: "true" # 节点池配置精细化资源管理特性相关 Label。该功能针对具有该 Label 的节点生效。 spec: config: fineGrainedResourceConfig: cpuBurstConfig: # 集群级别为 Pod 配置 CPU Burst 能力。 cpuBurstPolicy: "auto" # 开启动态 CPU Burst 能力。 cpuBurstPercent: 100 # CPU Burst 可放大的百分比上限。 cfsQuotaBurstPercent: 300 # CFS Quota 可放大的百分比上限。默认值 300，单位为百分比。 sharePoolThresholdPercent: 50 # 开启 CFS Quota 弹性能力时，节点 CPU 使用率的安全水位阈值。 ``` CPU Burst 能力相关参数说明如下： |cpuBurstConfig 参数 |说明 | |---|---| |cpuBurstPolicy |针对当前 Pod 的 CPU Burst 开启策略。取值如下：

* **none**：关闭 CPU Burst 策略。

* **static**：（已废弃）静态策略。

注意

static 取值已废弃，之前使用了该取值的用户，推荐使用 cpuBurstOnly 替代。

* **cpuBurstOnly**：仅开启内核 CPU Burst 弹性能力。

注意

CPU Burst 功能仅支持以下节点操作系统镜像：

内核版本为 5.4、5.10、5.15 的 veLinux 公共镜像

内核版本为 5.15 的 Ubuntu 公共镜像

基于上述两个内核版本公共镜像制作的自定义镜像

* **cfsQuotaBurstOnly**：仅开启 CFS Quota 的自动弹性能力。

说明

CFS Quota 弹性功能支持所有操作系统镜像。

* **auto**：自适应开启 cpuBurstOnly 和 cfsQuotaBurstOnly 两种弹性能力。 | |cpuBurstPercent |CPU Burst 可放大的百分比上限：

* 取值范围：0~100（含）的正整数。

* 默认值：100。 | |cfsQuotaBurstPercent |CFS Quota 的上限百分比，即临时突破 Limit，少量超额使用 CPU 的百分比。取值如下：

* 取值范围：100 以上正整数。

* 默认值：300。 | |cfsQuotaBurstPeriodSeconds |开启 CFS Quota 弹性能力时，容器可以持续按上限 cfsQuotaBurstPercent 消耗的 CPU 时间限制。取值如下：

* 取值范围：正整数。

* 初始化值：\-1，表示不限制。

注意

-1仅做为初始化值，若您在此处配置完正整数取值后，再改回不限制时，请删除该参数来表示不限制，不能设置为-1。

* 单位：秒。 | |sharePoolThresholdPercent |开启 CFS Quota 弹性能力时，节点 CPU 使用率的安全水位阈值百分比。超出阈值后节点中所有已经上调的 CFS Quota 参数会被初步恢复为创建初始值。取值如下：

* 取值范围：0~100（含）的正整数。

* 默认值：50。 | 3. 创建一个 KatalystCustomConfig (KCC) 对象。KCC 用于描述 AdminQosConfiguration 的 Group、Version、Resource（GVR）信息和托管行为。 ```YAML apiVersion: config.katalyst.kubewharf.io/v1alpha1 kind: KatalystCustomConfig metadata: name: katalyst-config # 固定值，KatalystCustomConfig 对象名称。 namespace: katalyst-system # 固定值，KatalystCustomConfig 对象所属的命名空间。 labels: vke.node.katalyst.deploy: "true" # 固定值，节点池配置精细化资源管理特性相关 Label。 spec: targetType: # 固定值，描述 AdminQosConfiguration 的 GVR 信息。 group: config.katalyst.kubewharf.io resource: adminqosconfigurations version: v1alpha1 ``` ## 验证结果 1. 查看已开启 CPU Burst 能力的 Pod 的 UID。 ```Bash kubectl get pod -o jsonpath='{.metadata.uid}' ``` 其中``替换为您实际要查看的 Pod 名称，例如 Pod 名称为`my-pod`，则完整命令如下： ```Bash kubectl get pod my-pod -o jsonpath='{.metadata.uid}' ``` 2. 查看 Pod 下容器（Container）的 ID。 ```Bash kubectl get pod -o jsonpath='{.status.containerStatuses[*].containerID}' ``` 其中``替换为上一步获取的 Pod UID 值。 3. 登录 Pod 所在的 ECS 节点。登录方法，请参见 [ECS Terminal](https://www.volcengine.com/docs/6460/100953#ecs-terminal)。 4. 查看容器 Cgroup 中 CPU 的` burst_us`值。 Cgroup v1 ```Bash cat /sys/fs/cgroup/cpu/kubepods/pod//cpu.cfs_burst_us ``` Cgroup v2 ```Bash cat /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod.slice/cri-containerd-.scope/cpu.max.burst ``` 其中``和``替换为上方步骤中已获取的值。 5. 查看容器 Cgroup 中 CPU 的`quota_us`值。 Cgroup v1 ```Bash cat /sys/fs/cgroup/cpu/kubepods/pod//cpu.cfs_quota_us ``` Cgroup v2 ```Bash cat /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod.slice/cri-containerd-.scope/cpu.max 100000 100000 # 第一个值为 CFS Quota_us，第二个值为 CPU 默认执行周期（100ms） ``` 其中``和``替换为上方步骤中已获取的值。 6. 按如下方法，计算`cpu.cfs_burst_us`和`cpu.cfs_quota_us`的值。若 `cpu.cfs_burst_us` = `cpu.cfs_quota_us` \* `您设置的 CPU Burst 可放大的百分比上限值`，则表示 Pod 的 CPU Burst 配置已正确下发。 7. 查看容器被 CPU 限流的时间。 Cgroup v1 ```Bash cat /sys/fs/cgroup/cpu/kubepods/pod//cpu.stat ``` 预期返回结果如下： ```Bash nr_periods 1215 nr_throttled 0 throttled_time 0 # 容器被 CPU 限流的时间。开启 CPU Burst 后，单位时间内该指标的增量会降低。 nr_bursts 401 burst_time 66399120464 ``` Cgroup v2 ```Bash cat /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod.slice/cri-containerd-.scope/cpu.stat ``` 预期返回结果如下： ```Bash usage_usec 45031 user_usec 19629 system_usec 25402 nr_periods 23 nr_throttled 0 # 容器被 CPU 限流的次数。 throttled_usec 0 # 容器被 CPU 限流的总时间。 ``` ## 更多操作如需关闭 Pod CPU Burst 功能，按如下方法操作。 Pod 层面需要在对应的 Pod 上更新 CPU Burst 相关 Annotation，将 Annotation Value 改为`none`，即：`katalyst.kubewharf.io/cpu_enhancement: '{"cpu_burst_policy":"none","cpu_burst_percent":"100"}'`。集群层面将名为 **katalyst\-config** 的 AdminQoSConfiguration 对象 YAML 文件中的 CPU Burst 相关 Annotation Value 改为`none`，即：`cpuBurstPolicy: "none"`。集群维度关闭 Pod CPU Burst 功能以后，集群内的所有 Pod 将自动关闭该能力