本文为您介绍 VKE 集群预置告警规则模版的详情，包括规则说明、PromQL 配置和常见告警处理流程。 ## **VKE 控制面组件 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |APIServer 异常 |P0：== 0 立即触发 |sum(up{cluster=~"$Cluster", job="kubernetes\-apiserver"}) by (cluster) |APIServer 无可用实例时触发，属于集群控制面高优故障。 |确认控制面组件状态和集群访问面是否受影响；检查 API 请求是否全部失败，并联系平台侧处理。 | |Scheduler 异常 |P0：== 0 持续 5m |sum(up{cluster=~"$Cluster", job="kube\-scheduler"}) by (cluster) |Scheduler 无可用实例时触发，可能影响 Pod 调度。 |观察是否出现大量 Pending Pod；检查调度组件健康和控制面事件。 | |ControllerManager 异常 |P0：== 0 持续 5m |sum(up{cluster=~"$Cluster", job="kube\-controller\-manager"}) by (cluster) |Controller Manager 无可用实例时触发，可能影响副本控制和控制器收敛。 |检查控制器相关事件、Deployment/StatefulSet 收敛情况，并联系平台侧排查。 | |Etcd 无法选举 Leader |P0：== 0 持续 5m |etcd_server_has_leader{cluster=~"$Cluster"} |etcd 无 Leader 时，控制面读写可能异常。 |确认 API 请求、节点心跳和资源更新是否异常；排查 etcd 集群状态并升级处理。 | |APIServer 请求耗时过高 |P1：\> 2 持续 10m

P2：\> 2 持续 5m |histogram_quantile(0.90, sum(rate(apiserver_request_duration_seconds_bucket{cluster=~"$Cluster", verb!~"WATCH\|CONNECT",resource!=""}[5m])) by (cluster, instance, le, verb)) |检测 APIServer P90 请求时延是否持续偏高。 |分析是否存在突发访问、慢资源对象或后端存储抖动；排查高频调用方与控制面健康。 | |APIServer 请求错误率过高 |P1：\> 0.1 持续 10m

P2：\> 0.1 持续 5m |sum(rate(apiserver_request_total{cluster=~"$Cluster", code=~"50.\*"}[5m])) by (cluster) / sum(rate(apiserver_request_total{cluster=~"$Cluster"}[5m])) by (cluster) |检测 APIServer 5xx 错误率是否超过 10%。 |查看请求错误分布、资源类型和调用来源；结合 etcd、Webhook、控制器状态做根因分析。 | ## **VKE 工作负载 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |容器发生多次重启 |P1：\>= 5 立即触发

P2：\>= 2 立即触发 |increase(kube_pod_container_status_restarts_total{cluster=~"$Cluster",namespace=~"$Namespace"}[10m]) |监测容器在 10 分钟内的重启次数。 |查看容器日志、事件、探针、资源限制和依赖服务状态。 | |无状态负载 Pod 数量异常 |P2：\> 0 持续 5m |kube_deployment_spec_replicas{cluster=~"$Cluster",namespace=~"$Namespace"} \- kube_deployment_status_replicas_available{cluster=~"$Cluster",namespace=~"$Namespace"} |Deployment 可用副本数未达到期望。 |检查滚动升级状态、Pod 调度、探针和镜像问题。 | |有状态负载 Pod 数量异常 |P2：\> 0 持续 5m |kube_statefulset_replicas{statefulset!="", cluster=~"$Cluster",namespace=~"$Namespace"} \- kube_statefulset_status_replicas_ready{statefulset!="",cluster=~"$Cluster",namespace=~"$Namespace"} |StatefulSet Ready 副本数未达到期望。 |检查 PVC、存储挂载、启动顺序和 Pod 事件。 | |容器组 CPU Limits 饱和度过高 |P2：\> 0.8 持续 5m |sum(irate(container_cpu_usage_seconds_total{cluster=~"$Cluster",namespace=~"$Namespace",container!=""}[5m]))by(cluster,namespace,pod,container)/sum(kube_pod_container_resource_limits{cluster=~"$Cluster",namespace=~"$Namespace",resource="cpu",container!=""})by(cluster,namespace,pod,container) |监测容器 CPU 使用逼近 Limit，可能导致限流。 |检查资源 Limit 是否偏小、是否存在热点流量和 CPU Throttling。 | |容器组内存 Limits 饱和度过高 |P2：\> 0.8 持续 5m |sum(container_memory_working_set_bytes{cluster=~"$Cluster",namespace=~"$Namespace",container!=""})by(cluster,namespace,pod,container)/sum(kube_pod_container_resource_limits{cluster=~"$Cluster",namespace=~"$Namespace",container!="",resource="memory",unit="byte"})by(cluster,namespace,pod,container) |监测容器内存使用逼近 Limit。 |检查是否存在内存泄漏、缓存膨胀或 Limit 配置过小，必要时扩容。 | |容器组状态异常 |P2：== 1 持续 5m |kube_pod_status_phase{cluster=~"$Cluster",namespace=~"$Namespace",job=~"kube\-state\-metrics", phase=~"Pending\|Unknown\|Failed"} |检测 Pod 进入 Pending、Unknown 或 Failed 状态。 |查看 Pod 事件，重点排查调度失败、镜像拉取失败和节点异常。 | |存在 Backoff 状态异常容器组 |P2：== 1 持续 5m |kube_pod_container_status_waiting_reason{reason=~"ImagePullBackOff\|CrashLoopBackOff", cluster=~"$Cluster",namespace=~"$Namespace"} |检测容器进入镜像拉取回退或 Crash 循环。 |分别检查镜像可达性、启动命令、依赖配置和探针配置。 | ## **VKE 节点 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |节点处于非 Ready 状态 |P1：== 1 持续 10m

P2：== 1 持续 5m |kube_node_status_condition{cluster=~"$Cluster", condition="Ready", status!="true", node!~"vci.\*"} |检测节点 Ready 条件异常。 |优先确认是否为预期下线；若非预期，检查节点心跳、网络、磁盘、Kubelet 和 runtime。 | |节点 CPU 水位过高 |P1：\> 0.8 持续 10m

P2：\> 0.7 持续 5m |sum(rate(node_cpu_seconds_total{cluster=~"$Cluster", mode="user"}[5m])) by(cluster, instance) / count(count(node_cpu_seconds_total{cluster=~"$Cluster"}) by (cluster, cpu, instance)) by(cluster, instance) |监测节点用户态 CPU 使用率。 |识别热点节点和高消耗 Pod，必要时迁移负载、扩容节点或优化 Request / Limit。 | |节点内存水位过高 |P1：\> 0.8 持续 10m

P2：\> 0.7 持续 5m |(node_memory_MemTotal_bytes{cluster=~"$Cluster"} \- node_memory_MemAvailable_bytes{cluster=~"$Cluster"}) / node_memory_MemTotal_bytes{cluster=~"$Cluster"} |监测节点内存使用率。 |检查热点 Pod、缓存占用和内存泄漏，避免触发 OOM 或驱逐。 | |文件系统容量过低 |P1：< 0.03 持续 10m

P2：< 0.1 持续 5m |(node_filesystem_avail_bytes{cluster=~"$Cluster", fstype!=""} / node_filesystem_size_bytes{cluster=~"$Cluster", fstype!=""}) and node_filesystem_readonly{cluster=~"$Cluster", fstype!=""} == 0 |检测可写文件系统剩余容量是否不足。 |及时清理日志、镜像、临时文件或扩容磁盘，避免节点磁盘打满。 | |节点发生重启 |P2：\> 0 立即触发 |changes(node_boot_time_seconds{cluster=~"$Cluster"}[15m]) |检测节点在 15 分钟内是否出现重启。 |查看节点事件、系统日志和宿主机状态，确认是否为计划变更或异常重启。 | ## **VKE CNI 组件** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |VPC\-CNI Pod 状态异常 |P0：\> 0 持续 10m

P1：\> 0 持续 3m

P2：\> 0 立即触发 |sum(kube_pod_container_status_waiting_reason{cluster=~"$Cluster",reason=~"CrashLoopBackOff\|ErrImagePull\|ImagePullBackOff\|Init:CrashLoopBackOff", pod=~".\*cello.\*"}) by (cluster, namespace, pod, reason) |监测 CNI 相关 Pod 是否进入等待异常状态。 |查看 cello 组件 Pod 事件、镜像拉取、Crash 日志和节点网络状态；必要时重建 Pod。 | |VPC\-CNI operator 可用副本数异常 |P0：\> 0 持续 10m

P1：\> 0 持续 3m

P2：\> 0 立即触发 |sum(kube_deployment_status_replicas_unavailable{cluster=~"$Cluster", deployment=~".\*cello.\*"}) by (cluster, namespace, deployment) \> 0 or sum(kube_deployment_status_replicas{cluster=~"$Cluster", deployment=~".\*cello.\*"}) by (cluster, namespace, deployment) == 1 |关注 CNI Operator 副本不可用或副本过少风险。 |检查 Deployment、节点调度、镜像、资源限制和 Pod 日志，确保 CNI 控制面可用。 | |VPC\-CNI 容器内存水位过高 |P1：\> 0.8 立即触发 |max(container_memory_usage_bytes{cluster=~"$Cluster", namespace=~"kube\-system", pod=~".\*cello.\*"} / (1024\*1024)) by (cluster, namespace, pod, container) / max(kube_pod_container_resource_limits{cluster=~"$Cluster",namespace=~"kube\-system",pod=~".\*cello.\*", resource="memory"} / (1024\*1024)) by (cluster, namespace, pod, container) |检测 CNI 容器内存占用是否接近 Limit。 |查看是否存在异常流量、泄漏或 Limit 配置过小；必要时调整资源并重启组件。 | |VPC\-CNI 容器 CPU 水位过高 |P1：\> 0.8 立即触发 |sum(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster",namespace="kube\-system",pod=~".\*cello.\*"}[1m])) by (cluster, namespace, pod, container) / max(kube_pod_container_resource_limits{cluster=~"$Cluster",namespace=~"kube\-system",pod=~".\*cello.\*", resource="cpu"}) by (cluster, namespace, pod, container) |检测 CNI 容器 CPU 使用是否接近 Limit。 |检查是否存在网络风暴、异常重试或资源配置偏小；适当扩容并观察恢复情况。 | |集群资源池内可用 IP 资源过少 |P1：== 0 持续 10m |sum(resource_pool_available{cluster=~"$Cluster",job="vpc\-cni"}) by (cluster, name) |表示资源池中可分配 IP 已耗尽。 |立即检查子网余量、节点分配策略和业务扩容情况；必要时扩容子网或清理无效资源。 | |VPC CNI 调用失败 |P0：\> 0 持续 10m

P1：\> 0 持续 5m |sum(rate(rpc_latency_ms_count{cluster=~"$Cluster",job="vpc\-cni",error="true"}[1m])) by (cluster, rpc_api, node) |表示 CNI 内部 RPC 调用存在持续失败。 |查看失败 API、节点分布和日志，判断是否为依赖异常、网络异常或组件 bug。 | |VPC CNI 内部子系统异常 |P0：\> 0 立即触发 |sum(rate(sub_sys_error_count{cluster=~"$Cluster",job="vpc\-cni"}[1m])) by (cluster, subsys, node) |监测 CNI 内部子系统错误。 |根据 subsys 维度定位具体子系统；结合节点日志和近期变更处理。 | |集群 Open API 出现限流 |P2：\> 0 持续 10m |sum(rate(openapi_statistic{cluster=~"$Cluster",job="vpc\-cni",errCode=~"FlowLimitExceeded\|AccountFlowLimitExceeded"}[2m])) by (cluster, api) |表示 VPC CNI 调用云上 OpenAPI 时触发限流。 |评估是否存在大规模扩缩容或重试风暴；减少调用并与云资源配额策略联动优化。 | |Open API 调用返回失败 |P1：\> 0 持续 10m

P2：\> 0 持续 5m |sum(rate(openapi_statistic{cluster=~"$Cluster",job="vpc\-cni",errCode!~"FlowLimitExceeded\|AccountFlowLimitExceeded\|InsufficientIpInSubnet", errCode!~"QuotaExceeded.\*", errCode!~""}[1m])) by (cluster, api, errCode) |表示 OpenAPI 出现非限流、非配额类失败。 |按 api 和 errCode 定位失败原因，检查云资源状态、权限和网络连通性。 | |VPC\-CNI 依赖资源超配额 |P0：\> 0 立即触发 |sum(rate(openapi_statistic{cluster=~"$Cluster",job="vpc\-cni",errCode=~"InsufficientIpInSubnet\|QuotaExceeded.\*"}[1m])) by (cluster, api, errCode) |表示依赖资源不足或配额已耗尽。 |优先扩容子网、提升配额或回收闲置资源，避免新 Pod 无法分配网络。 | |Metadata 调用返回失败 |P1：\> 0 持续 5m

P2：\> 0 持续 3m |sum(rate(metadata_statistic{cluster=~"$Cluster",job="vpc\-cni", errCode!~""}[1m])) by (cluster, url, node) |表示访问 Metadata 服务失败。 |检查节点到 Metadata 服务的网络连通性、路由和安全策略；重点排查受影响节点。 | |ACL 规则计算失败 |P1：\> 0 立即触发 |sum(rate(cello_acl_recalculate_time_status_second_count{cluster=~"$Cluster",job="vpc\-cni", status=~"fail"}[2m])) by (cluster, kind, node) |监控 ACL 规则重算是否失败。 |查看策略变更、ACL 数量和组件日志；确认是否影响网络策略下发。 | |ACL 规则计算 P99 时延过高 |P2：\> 1 立即触发

P1：\> 2 立即触发 |histogram_quantile(0.99, sum(increase(cello_acl_recalculate_time_status_second_bucket{cluster=~"$Cluster",job="vpc\-cni", status=~"success"}[2m])) by (cluster, node, kind, le)) |衡量 ACL 重算耗时是否过长。 |分析策略规模和节点分布，评估是否存在规则膨胀、热点节点或组件性能瓶颈。 | |ACL watch 事件处理失败 |P2：\> 0 立即触发

P1：\> 0.2 立即触发 |sum(rate(cello_acl_watcher_event_process_latency_count{cluster=~"$Cluster",job="vpc\-cni", status=~"fail"}[2m])) by (cluster, event, node) |监控 ACL watch 事件消费失败。 |查看失败事件类型和节点，确认监听链路、队列堆积或组件异常。 | |ACL watch 事件处理 P99 时延过高 |P2：\> 1000 立即触发 |histogram_quantile(0.99, sum(increase(cello_acl_watcher_event_process_latency_bucket{cluster=~"$Cluster",job="vpc\-cni", status=~"success"}[1m])) by (cluster, node, event, le)) |表示 ACL watch 事件处理延迟过高。 |关注控制面变更量和节点处理能力，必要时降低变更频率并排查性能瓶颈。 | |数据面 BPF MAP 操作失败 |P0：\> 0 持续 10m

P1：\> 0 立即触发 |sum(rate(cello_bpf_map_ops_total{cluster=~"$Cluster",job="vpc\-cni", result!="success"}[2m])) by (cluster, map_name, node) |表示数据面 BPF Map 操作失败，可能直接影响网络转发。 |立即检查受影响节点的 Cilium / BPF 日志和内核状态；必要时摘除节点。 | |Cilium controller 运行失败 |P1：\> 0 持续 1m |sum(rate(cilium_controllers_runs_total{cluster=~"$Cluster",job="vpc\-cni", status=~"failure"}[1m])) by (cluster, node) |监测 Cilium 控制器执行失败。 |查看节点上的 Cilium 日志与失败控制器名称，排查配置同步或依赖异常。 | |Cilium 子系统异常 |P1：\> 0 持续 1m |sum(rate(cilium_errors_warnings_total{cluster=~"$Cluster",job="vpc\-cni", level=~"error"}[1m])) by (cluster, node, subsystem) |监测 Cilium 各子系统是否持续报错。 |按 subsystem 维度定位问题，结合节点网络现象进行处理。 | |Cilium Policy 生成失败 |P1：\> 0 立即触发 |sum(rate(cilium_policy_regeneration_time_stats_seconds_count{cluster=~"$Cluster",job="vpc\-cni", status !="success"}[1m])) by (cluster, node) |表示 Cilium Policy 再生成失败。 |查看策略变化和节点 Cilium 状态；确认是否导致网络策略未生效。 | |Cilium Policy 生效 P99 时延过高 |P2：\> 1 立即触发 |avg(histogram_quantile(0.99, rate(cilium_policy_implementation_delay_bucket{cluster=~"$Cluster",job="vpc\-cni"}[1m]))) by (cluster, node, source) |关注网络策略下发和生效是否过慢。 |检查策略规模、节点压力和控制面变更频率，避免大批量策略同时变更。 | |Cilium bpf map 水位过高 |P0：\> 0.9 立即触发

P1：\> 0.8 立即触发 |max(cilium_bpf_map_pressure{cluster=~"$Cluster",job="vpc\-cni"}) by (cluster, map_name, node) |表示 BPF Map 容量逼近上限。 |立即查看热点节点和 Map 类型，评估连接规模、策略规模和扩容需求。 | |Cilium identity 水位过高 |P0：\> 50000 立即触发

P1：\> 40000 立即触发 |max(apiserver_storage_objects{resource=~"ciliumidentities.cilium.io",cluster=~"$Cluster"}) by (cluster) |表示 Cilium Identity 对象规模逼近阈值。 |评估命名空间、标签和策略设计是否导致 Identity 爆炸；必要时优化标签与策略。 | ## **VKE CSI 组件** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |CSI IaaS 接口延迟过高 |P1：\> 5 持续 2m |histogram_quantile(0.90, sum by(cluster,method,le)(rate(volc_api_request_duration_seconds_bucket{cluster=~"$Cluster",job="csi"}[2m]))) |监控 CSI 调用云上 IaaS 接口的 P90 延迟。 |查看具体 method、云盘接口状态和 CSI 日志；确认是否存在云侧抖动或请求堆积。 | |CSI IaaS 接口错误率过高 |P1：\> 5 持续 2m |rate(volc_api_request_errors{cluster=~"$Cluster",job="csi"}[2m]) |表示 CSI 调用云上接口的错误速率持续升高。 |检查鉴权、配额、网络连通和云盘接口返回码。 | |Kubelet 调用 CSI RPC 失败次数增长\-NAS |P1：\> 1 持续 5m |sum(increase(csi_operations_seconds_count{cluster=~"$Cluster",job="kubelet", grpc_status_code!="OK",driver_name=~"nas.\*"}[1m])) by (cluster, node, method_name, driver_name) |关注 NAS 驱动相关 CSI RPC 失败。 |检查 NAS 挂载、网络连通、节点权限和目标节点日志。 | |Kubelet 调用 CSI RPC 失败次数增长\-TOS |P2：\> 1 持续 10m |sum(increase(csi_operations_seconds_count{cluster=~"$Cluster",job="kubelet", grpc_status_code!="OK",driver_name=~"tos.\*"}[1m])) by (cluster, node, method_name, driver_name) |关注 TOS 驱动相关 CSI RPC 失败。 |查看失败方法、节点和对象存储依赖链路；确认驱动状态是否正常。 | |Kubelet 调用 CSI RPC 失败次数增长\-EBS |P1：\> 1 持续 5m |sum(increase(csi_operations_seconds_count{cluster=~"$Cluster",job="kubelet", grpc_status_code!="OK",driver_name=~"ebs.\*"}[1m])) by (cluster, node, method_name, driver_name) |关注 EBS 驱动相关挂载、卸载、扩容等 RPC 失败。 |检查卷状态、节点 Attach/Mount 日志和 CSI 组件健康。 | |Kubelet 调用 CSI RPC 失败次数增长\-VEPFS |P1：\> 1 持续 5m |sum(increase(csi_operations_seconds_count{cluster=~"$Cluster",job="kubelet", grpc_status_code!="OK",driver_name=~"vepfs.\*"}[1m])) by (cluster, node, method_name, driver_name) |关注 VEPFS 驱动相关 RPC 失败。 |检查文件系统状态、网络和 CSI 节点插件日志。 | |Kubelet 调用 CSI RPC 失败次数增长\-FSX |P1：\> 1 持续 5m |sum(increase(csi_operations_seconds_count{cluster=~"$Cluster",job="kubelet", grpc_status_code!="OK",driver_name=~"fsx.\*"}[1m])) by (cluster, node, method_name, driver_name) |关注 FSX 驱动相关 RPC 失败。 |检查 FSX 存储实例状态、网络路径和节点插件日志。 | |FSX 客户端管理 Uninstall 失败次数增长 |P2：\> 0 持续 5m |sum(increase(fsx_agent_pod_lifecycle_error_total{cluster=~"$Cluster",method="Uninstall"}[5m])) by (cluster, instance, method) |监测 FSX Agent 卸载阶段是否失败。 |查看实例维度错误日志，确认是否存在回收残留、权限或节点状态异常。 | ## **VKE DNS 服务 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |CoreDNS 发生 Panic |P0：\> 0 持续 10m

P1：\> 0 立即触发 |sum(increase(coredns_panics_total{cluster=~"$Cluster",job="core\-dns"}[5m])) |CoreDNS 在 5 分钟内发生 Panic。 |立即检查 CoreDNS Pod 日志、近期配置变更和上游解析依赖。 | |CoreDNS 错误率过高 |P1：\> 0.3 持续 10m

P2：\> 0.3 持续 5m |sum(increase(coredns_dns_responses_total{cluster=~"$Cluster",job="core\-dns",rcode=~"SERVFAIL\|REFUSED"}[5m]))/sum(increase(coredns_dns_requests_total{cluster=~"$Cluster",job="core\-dns"}[5m])) |监测 CoreDNS 失败响应占比是否过高。 |查看失败域名、上游 DNS、Corefile 配置和网络连通性。 | |CoreDNS 域名解析时间过长 |P1：\> 0.5 持续 5m

P2：\> 0.1 持续 5m |histogram_quantile(0.99, rate(coredns_dns_request_duration_seconds_bucket{cluster=~"$Cluster",job="core\-dns"}[5m])) |监测 CoreDNS P99 解析时延。 |判断是上游解析慢、缓存命中下降还是 CoreDNS 资源不足；必要时扩容副本。 | |CoreDNS 域名解析缓存命中率 |P1：< 0.3 持续 5m

P2：< 0.5 持续 5m |sum(increase(coredns_cache_hits_total{cluster=~"$Cluster",job="core\-dns"}[5m]))/sum(increase(coredns_dns_requests_total{cluster=~"$Cluster",job="core\-dns"}[5m])) |监测缓存命中率下降，预示后端解析压力上升。 |检查业务请求模式、缓存配置和热点域名；必要时优化 TTL 或接入 NodeLocalDNS。 | |CoreDNS Pod 不可用 |P0：== 1 持续 10m

P1：== 1 持续 5m |(kube_pod_status_phase{cluster=~"$Cluster", namespace=~"kube\-system",pod=~"coredns.\*",phase!="Succeeded"} == 1) and on(cluster, namespace, pod) (kube_pod_status_ready{cluster=~"$Cluster", namespace=~"kube\-system",pod=~"coredns.\*",condition="false"} == 1) |检测 CoreDNS Pod 是否不可用。 |优先恢复 Pod 可用性，检查镜像、调度、探针和资源限制。 | |NodeLocalDNS 发生 Panic |P0：\> 0 持续 10m

P1：\> 0 立即触发 |sum(increase(coredns_panics_total{cluster=~"$Cluster",job="node\-local\-dns"}[5m])) |NodeLocalDNS 出现 Panic。 |检查对应 DaemonSet Pod 日志和节点范围，判断是否影响局部节点解析。 | |NodeLocalDNS 错误率过高 |P1：\> 0.3 持续 10m

P2：\> 0.3 持续 5m |sum(increase(coredns_dns_responses_total{cluster=~"$Cluster",job="node\-local\-dns",rcode=~"SERVFAIL\|REFUSED"}[5m]))/sum(increase(coredns_dns_requests_total{cluster=~"$Cluster",job="node\-local\-dns"}[5m])) |监测 NodeLocalDNS 错误响应比例。 |查看故障节点分布、上游 CoreDNS 状态和本地缓存配置。 | |NodeLocalDNS 域名解析时间过长 |P2：\> 0.5 持续 5m |histogram_quantile(0.99, rate(coredns_dns_request_duration_seconds_bucket{cluster=~"$Cluster",job="node\-local\-dns"}[5m])) |表示节点本地 DNS 解析延迟偏高。 |检查节点资源、上游解析延迟和热点域名请求情况。 | |NodeLocalDNS 域名解析缓存命中率 |P2：< 0.3 持续 5m |sum(increase(coredns_cache_hits_total{cluster=~"$Cluster",job="node\-local\-dns"}[5m]))/sum(increase(coredns_dns_requests_total{cluster=~"$Cluster",job="node\-local\-dns"}[5m])) |监测 NodeLocalDNS 缓存命中率过低。 |检查请求是否大量为冷数据，必要时优化缓存与流量路径。 | |NodeLocalDNS Pod 不可用 |P1：== 1 持续 10m

P2：== 1 持续 5m |(kube_pod_status_phase{cluster=~"$Cluster", namespace=~"kube\-system",pod=~"node\-local\-dns.\*",phase!="Succeeded"} == 1) and on(cluster, namespace, pod) (kube_pod_status_ready{cluster=~"$Cluster", namespace=~"kube\-system",pod=~"node\-local\-dns.\*",condition="false"} == 1) |检测 NodeLocalDNS Pod 是否不可用。 |优先定位异常节点并恢复 DaemonSet Pod，避免局部节点解析失败。 | ## **VKE Ingress\-Nginx 组件** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |Ingress\-Nginx 请求时延过高 |P1：\> 3 持续 5m

P2：\> 1 持续 5m |histogram_quantile(0.90, sum(rate(nginx_ingress_controller_request_duration_seconds_bucket{cluster=~"$Cluster"}[5m])) by (cluster,host,path,method,le)) |监测入口流量的 P90 请求时延。 |查看受影响域名、路径和方法，区分是入口转发慢还是后端服务响应慢。 | |Ingress\-Nginx 请求错误率高 |P1：\> 0.5 持续 5m

P2：\> 0.3 持续 5m |sum by (cluster) (rate(nginx_ingress_controller_requests{cluster=~"$Cluster",status!~"2.."}[5m])) / sum by (cluster) (rate(nginx_ingress_controller_requests{cluster=~"$Cluster"}[5m])) |监测非 2xx 请求占比。 |查看状态码分布、上游服务健康和 Ingress 规则配置；必要时回滚最近变更。 | |Ingress\-Nginx Pod 不可用 |P0：== 0 持续 10m

P1：== 0 持续 5m |kube_pod_container_status_ready{cluster=~"$Cluster",pod=~"ingress\-nginx.\*"} |监测 Ingress 控制器 Pod 是否就绪。 |优先恢复控制器 Pod，检查调度、探针、镜像和资源是否异常。 | |Ingress\-Nginx 证书即将过期 |P0：< 7 持续 1m

P1：< 14 持续 1m |(nginx_ingress_controller_ssl_expire_time_seconds{cluster="$Cluster"} \- time())/24/3600 |检测证书剩余有效期。 |提前完成续期、重新签发或更新 Secret，避免入口 HTTPS 中断。 | |Ingress\-Nginx CPU 占用率高 |P1：\> 90 持续 5m |sum(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", pod=~"ingress\-nginx\-.\*"}[1m])) by (cluster, namespace, pod, container) / max(kube_pod_container_resource_limits{resource="cpu",cluster=~"$Cluster",pod=~"ingress\-nginx\-.\*"}) by (cluster, namespace, pod, container) \* 100 |监测 Ingress Pod CPU 占用是否逼近 Limit。 |检查是否存在流量突增、限流不足或资源配置偏小；必要时扩容副本和资源。 | |Ingress\-Nginx 内存占用率高 |P1：\> 90 持续 5m |(container_memory_working_set_bytes{cluster=~"$Cluster",pod=~"ingress\-nginx\-.\*"}\>0) / (container_spec_memory_limit_bytes{cluster=~"$Cluster",pod=~"ingress\-nginx\-.\*"}\>0) \* 100 |监测 Ingress Pod 内存占用是否逼近 Limit。 |检查连接数、缓存、配置和内存 Limit；必要时扩容或优化配置。 | ## **VKE AI 训练任务** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |GPU 出现 Xid |P0：\> 30 持续 10m

P1：\> 0 持续 10m

P2：\> 0 持续 5m |increase(DCGM_CUSTOM_XID_ERRORS_TOTAL_COUNTER{cluster=~"$Cluster", job=~"dcgm\|dcgm\-vci"}[5m]) |检测 GPU 在 5 分钟窗口内是否出现 Xid 错误并分级告警。 |查看 GPU 节点事件、DCGM 指标和驱动日志；确认是否为硬件故障、驱动异常或任务压力异常；必要时隔离节点并迁移训练任务。 | |网卡出现 Link Down |P0：\> 0 持续 5m |increase(node_infiniband_link_downed_total{cluster=~"$Cluster"}[5m]) |检测 RDMA / IB 网卡链路是否发生 down 事件。 |检查交换网络、光模块、线缆和节点网卡状态；确认是否影响训练任务通信；必要时摘除故障节点。 | |网卡从错误中恢复的次数过高 |P1：\> 5 持续 10m

P2：\> 5 持续 5m |increase(node_infiniband_link_error_recovery_total{cluster=~"$Cluster"}[5m]) |表示网卡链路反复从错误状态恢复，存在不稳定风险。 |排查链路抖动、交换机端口错误、驱动版本和节点硬件健康；观察是否持续增长。 | |网卡错误计数超阈值次数过高 |P1：\> 5 持续 10m

P2：\> 5 持续 5m |increase(node_infiniband_local_link_integrity_errors_total{cluster=~"$Cluster"}[5m]) |关注 IB 链路完整性错误累计次数。 |检查物理链路质量、端口纠错信息、交换网络告警；必要时更换链路或节点。 | |GPU 出现 Xid V2 |P0：\> 30 持续 10m

P1：\> 0 持续 10m

P2：\> 0 持续 2m |increase(DCGM_EXP_XID_ERRORS_COUNT{cluster=~"$Cluster", job=~"dcgm\|dcgm\-vci"}[5m]) |基于另一组 DCGM 指标对 GPU Xid 错误做补充检测。 |与 GPU 出现 Xid 联动排查，重点确认驱动、固件、卡健康和任务侧异常。 | |GPU 节点出现疑似 Xid 掉卡 |P2：\> 0 持续 5m |sum(kube_node_status_capacity{cluster=~"$Cluster", node!~"vci.\*", resource=~"nvidia_com_gpu\|vke_volcengine_com_mgpu_core"} \- kube_node_status_allocatable{cluster=~"$Cluster", node!~"vci.\*", resource=~"nvidia_com_gpu\|vke_volcengine_com_mgpu_core"}) by (cluster, node, resource) |通过容量与可分配资源差异判断 GPU 资源是否异常丢失。 |比对节点 GPU 资源上报、设备插件状态和 GPU 驱动日志；必要时重启相关组件或替换节点。 | ## **VKE AIOPS 服务 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |VKE 节点出现 GPU 相关异常 |P2：\> 0 持续 1m |aiops_resource_condition_abnormal{cluster_id=~"$Cluster",resource_kind="VkeNode",condition=~"GpuCardFallen\|GpuMemoryErrorRecoverable\|GpuMemoryErrorUnrecoverable\|GpuLinkError\|GpuLinkUnhealthy\|GpuDriverError"} |AIOPS 发现节点存在 GPU 卡、显存、链路或驱动异常。 |查看节点诊断结果与 GPU 组件日志；结合训练任务影响范围决定是否摘除节点。 | |检测到 Kubelet 异常 |P2：\> 0 持续 1m |aiops_resource_condition_abnormal{cluster_id=~"$Cluster",resource_kind="VkeNode",condition=~"KubeletUnhealthy"} |AIOPS 发现节点 Kubelet 运行状态异常。 |登录节点检查 kubelet 日志、证书、磁盘、runtime 连接和节点心跳。 | |VKE 节点出现 ContainerRuntime 异常 |P2：\> 0 持续 1m |aiops_resource_condition_abnormal{cluster_id=~"$Cluster",resource_kind="VkeNode",condition=~"RuntimeUnhealthy"} |AIOPS 识别容器运行时异常，如 containerd 异常。 |检查 runtime 进程、镜像拉取、磁盘和 socket 连接；必要时重启运行时并观察节点恢复情况。 | |VKE 节点出现 NTP 异常 |P2：\> 0 持续 1m |aiops_resource_condition_abnormal{cluster_id=~"$Cluster",resource_kind="VkeNode",condition=~"NTPProblem"} |AIOPS 识别节点时钟同步异常。 |检查 NTP 服务、时间源连通性和时钟漂移；优先恢复时间同步，避免证书和调度异常。 | |自愈开始执行 |P2：\> 0 持续 1m |aiops_resource_remediation_in_progress{cluster_id=~"$Cluster"} |识别 AIOPS 自愈动作已开始。 |关注自愈执行目标、影响范围和是否需要人工介入；避免在自愈期间重复变更。 | |自愈执行失败 |P2：\> 0 持续 1m |aiops_resource_remediation_completed{cluster_id=~"$Cluster",phase="Failed"} |表示自愈动作执行失败。 |查看自愈任务日志和失败原因，确认权限、节点状态或依赖资源是否异常；必要时人工接管处理。 | |自愈执行完成但未能修复问题 |P2：\> 0 持续 1m |aiops_resource_remediation_completed{cluster_id=~"$Cluster",phase="Completed",completion_status="completed_without_success"} |表示自愈流程已结束，但异常未消除。 |结合根因分析继续人工排障，并评估是否需要升级问题或摘除节点。 | ## **VKE vArmor 组件 ** |规则名称 |触发条件 |PromQL 配置 |规则说明 |告警处理流程 | |---|---|---|---|---| |工作负载准入请求平均处理延迟过高 |P0：\> 8 立即触发

P1：\> 4 立即触发

P2：\> 2 立即触发 |sum (rate(varmor_webhook_latency_sum{cluster=~"$Cluster"}[5m])) / sum (rate(varmor_webhook_latency_count{cluster=~"$Cluster"}[5m])) |监测 vArmor Webhook 平均处理延迟，延迟过高可能影响工作负载准入。 |检查准入链路、Webhook 服务副本、资源和下游依赖，必要时临时降级策略。 | |ArmorProfile 处理失败速率过高 |P0：\> 2 立即触发

P1：\> 1 立即触发

P2：\> 0.3 立即触发 |sum(rate(varmor_profile_processing_failure_total{cluster=~"$Cluster"}[5m])) |监测 ArmorProfile 处理失败是否持续增长。 |查看 profile 配置、组件日志和近期策略变更；确认是否影响安全策略下发。 |

容器服务