集群监控
最近更新时间：2024.02.28 20:04:51
首次发布时间：2022.10.14 10:30:20
容器服务支持对集群和命名空间维度进行监控。本文为您介绍如何配置和查看集群的监控信息。
前提条件
容器服务集群已接入托管 Prometheus，并同步安装了 node-exporter 组件。详情请参见 接入托管 Prometheus。
操作步骤
当您将容器服务集群正确接入托管 Prometheus，并安装了对应的组件后，需要配置对应的采集规则，才能正确采集指标。
- 登录 容器服务控制台。
- 在左侧导航栏中选择 集群。
- 在集群列表页面，单击目标集群。
- 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
- 在配置页面右上角，单击 指标采集配置。
- 选择 数据面组件 页签，在组件列表 是否采集 列，单击开关，开启 node-exporter、kubelet-cadvisor、kubelet 和 kube-state-metrics 组件的采集规则。
- （可选）单击组件列表 操作 栏中的 编辑指标，支持选择或丢弃组件的具体指标，并配置面向该组件的采集间隔。
- 在 采集间隔 下拉菜单中，选择该组件指标的采集间隔。不同组件支持的采集间隔不同。
- 在指标列表中，勾选指标，则采集该指标。取消勾选，则丢弃该指标。单击 指标类型 表头，允许基于指标类型对指标项进行筛选。
说明
- 减小指标采集间隔，会增加单位时间内上报的指标数量，可以提升监控精度。但会增加托管 Prometheus 标准版工作区的费用。增加指标采集间隔，会减少单位时间内上报的指标数量，可以减少托管 Prometheus 标准版工作区的费用，但会降低监控精度。请根据实际需要配置。
- 云产品的指标类型分为 基础指标 和 其他指标，不同类型指标的计费方式不同，详情请参见 托管 Prometheus 计费方式。
查看大盘
集群监控
您可以查看集群整体的监控信息，包括：集群节点信息（节点数量、未就绪节点数）、集群内存信息（内存使用量、内存使用率）、集群 CPU 信息（CPU 使用量、CPU 使用率）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。
- 登录 容器服务控制台。
- 在左侧导航栏中选择 集群。
- 在集群列表页面，单击目标集群。
- 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
- 在左侧看板列表中选择 集群监控 > 集群监控概览，即可查看监控大盘。
集群 Namespace 监控
您可以查看集群命名空间维度的监控信息，包括：命名空间内 NotReady 状态的 Deploment、Statefulset、DaemonSet 数量，命名空间内的内存使用、CPU 使用和 PVC 使用信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。
- 登录 容器服务控制台。
- 在左侧导航栏中选择 集群。
- 在集群列表页面，单击目标集群。
- 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
- 在左侧看板列表中选择 集群监控 > 集群 Namespace 监控，即可查看监控大盘。
指标清单
集群基础资源监控大盘的指标清单如下表所示。
| 大盘分类 | 大盘名称 | PromQL 语句 |
|---|---|---|
| 集群监控 | 节点数量 | count(kube_node_info{cluster="$ClusterId",kernel_version!=""}) |
| PIDPressure 节点数量 | count(kube_node_status_condition{cluster="$ClusterId",status="true",condition="PIDPressure"}==1) or vector(0) | |
| MemoryPressure 节点数量 | count(kube_node_status_condition{cluster="$ClusterId",status="true",condition="MemoryPressure"}==1) or vector(0) | |
| Not Ready 节点数量 | count(kube_node_info{cluster="$ClusterId",kernel_version!=""})-count(kube_node_status_condition{cluster="$ClusterId",condition="Ready", status="true",node!~"vci.*"} == 1) | |
| DiskPressure 节点数量 | count(kube_node_status_condition{cluster="$ClusterId",status="true",condition="DiskPressure"}==1) or vector(0) | |
| NetworkUnavailable 节点数量 | count(kube_node_status_condition{cluster="$ClusterId",status="true",condition="NetworkUnavailable"}==1) or vector(0) | |
| 集群内存使用 | sum(kube_pod_container_resource_requests{cluster="$ClusterId",resource="memory"})by(cluster) | |
| sum(kube_pod_container_resource_limits{cluster="$ClusterId",resource="memory"})by(cluster) | ||
| sum(kube_node_status_capacity{cluster="$ClusterId",resource="memory",node!~"vci.*"}) | ||
| sum(node_memory_MemTotal_bytes{cluster="$ClusterId"}-node_memory_MemAvailable_bytes{cluster="$ClusterId"})by(cluster) | ||
| 集群 CPU 使用 | sum(kube_pod_container_resource_requests{cluster="$ClusterId",resource="cpu"})by(cluster) | |
| sum(kube_pod_container_resource_limits{cluster="$ClusterId",resource="cpu"})by(cluster) | ||
| sum(kube_node_status_capacity{cluster="$ClusterId",resource="cpu",node!~"vci.*"})by(cluster) | ||
| sum (irate(node_cpu_seconds_total{cluster="$ClusterId",mode="user"}[5m])) by(cluster) | ||
| 节点内存使用率 Top 10 | topk(10,(node_memory_MemTotal_bytes{cluster="$ClusterId"}-node_memory_MemAvailable_bytes{cluster="$ClusterId"})/node_memory_MemTotal_bytes{cluster="$ClusterId"})*100 | |
| 节点 CPU 使用率 Top 10 | topk(10,sum(irate(node_cpu_seconds_total{cluster="$ClusterId",mode="user"}[5m]))by(node)/count(count(node_cpu_seconds_total{cluster="$ClusterId"})by(cpu,node))by(node)*100) | |
| 节点磁盘使用率 Top 10 | topk(10,sum(node_filesystem_size_bytes{cluster=~"$ClusterId",device!~'rootfs'}-node_filesystem_avail_bytes{cluster=~"$ClusterId",device!~'rootfs',fstype!~'tmpfs'})by(node)/sum(node_filesystem_size_bytes{cluster=~"$ClusterId",device!~'rootfs'})by(node)*100) | |
| 节点磁盘 Read 速率 Top 10 | topk(10,sum(rate(node_disk_read_bytes_total{cluster=~"$ClusterId",device=~"[a-z]*[a-z]"}[5m]))by(node)) | |
| 节点磁盘 Write 速率 Top 10 | topk(10,sum(rate(node_disk_written_bytes_total{cluster=~"$ClusterId",device=~"[a-z]*[a-z]"}[5m]))by(node)) | |
| 节点网络流量（In）Top 10 | topk(10,sum(rate(node_network_receive_bytes_total{cluster=~"$ClusterId"}[5m]))by(node)) | |
| 节点网络流量（Out）Top 10 | topk(10,sum(rate(node_network_transmit_bytes_total{cluster=~"$ClusterId"}[5m]))by(node)) | |
| 节点 Socket 数 Top 10 | topk(10,node_sockstat_TCP_alloc{cluster=~"$ClusterId"}) | |
| 容器组 CPU 使用 Top 10 | topk(10,sum(rate(container_cpu_usage_seconds_total{cluster="$ClusterId",container!=""}[5m]))by(pod)) | |
| 容器组 CPU 使用率 Top 10（占 requests） | topk(10,sum(rate(container_cpu_usage_seconds_total{cluster="$ClusterId",container!=""}[5m]))by(pod)/sum(kube_pod_container_resource_requests{cluster="$ClusterId",resource="cpu"})by(pod)*100) | |
| 容器组 CPU 使用率 Top 10（占 limits） | topk(10,sum(rate(container_cpu_usage_seconds_total{cluster="$ClusterId",container!=""}[5m]))by(pod)/sum(kube_pod_container_resource_limits{cluster="$ClusterId",resource="cpu"})by(pod)*100) | |
| 容器组内存使用 Top 10 | topk(10,sum(container_memory_working_set_bytes{cluster="$ClusterId",container!=""})by (pod)) | |
| 容器组内存使用率 Top 10（占 requests） | topk(10,sum(container_memory_working_set_bytes{cluster="$ClusterId",container!=""})by(pod)*100/sum(kube_pod_container_resource_requests{cluster="$ClusterId",container!="",resource="memory",unit="byte"})by(pod)) | |
| 容器组内存使用率 Top 10（占 limits） | topk(10,sum(container_memory_working_set_bytes{cluster="$ClusterId",container!=""})by(pod)*100/sum(kube_pod_container_resource_limits{cluster="$ClusterId",container!="",resource="memory",unit="byte"})by(pod)) | |
| 容器组网络流量（In）Top 10 | topk(10,sum(rate(container_network_receive_packets_total{cluster=~"$ClusterId",pod!=""}[5m]))by(pod)) | |
| 容器组网络流量（Out）Top 10 | topk(10,sum(rate(container_network_transmit_packets_total{cluster=~"$ClusterId",pod!=""}[5m]))by(pod)) | |
| 容器组 Socket 连接数 Top 10 | topk(10,sum(container_sockets{cluster="$ClusterId",pod!=""})by(pod)) | |
| 集群 Namespace 监控 | NotReady Deployment | count(sum(kube_deployment_spec_replicas{cluster="$ClusterId",namespace="$Namespace"}-kube_deployment_status_replicas_ready{cluster="$ClusterId",namespace="$Namespace"} )by(deployment) !=0)or vector(0) |
| NotReady Statefulset | count(sum(kube_statefulset_replicas{cluster="$ClusterId",namespace="$Namespace"}-kube_statefulset_status_replicas_ready{cluster="$ClusterId",namespace="$Namespace"} )by(statefulset)!=0)or vector(0) | |
| NotReady DaemonSet | count(sum(kube_daemonset_status_number_unavailable{cluster="$ClusterId",namespace="$Namespace"})by(daemonset)!=0)or vector(0) | |
| 内存使用 | sum(kube_pod_container_resource_requests{resource="memory",cluster="$ClusterId",namespace=~"$Namespace"})by(namespace) | |
| sum(kube_pod_container_resource_limits{resource="memory",cluster="$ClusterId",namespace=~"$Namespace"})by(namespace) | ||
| sum(rate(container_memory_working_set_bytes{cluster="$ClusterId",namespace=~"$Namespace"}[5m]))by(namespace) | ||
| CPU 使用 | sum(kube_pod_container_resource_requests{resource="cpu",cluster="$ClusterId",namespace=~"$Namespace"})by(namespace) | |
| sum(kube_pod_container_resource_limits{resource="cpu",cluster="$ClusterId",namespace=~"$Namespace"})by(namespace) | ||
| sum(rate(container_cpu_usage_seconds_total{cluster="$ClusterId",namespace=~"$Namespace"}[5m]))by(namespace) | ||
| PVC 使用 | sum(kube_persistentvolumeclaim_resource_requests_storage_bytes{cluster="$ClusterId",namespace="$Namespace"})by(namespace) |
说明
如果您需要在托管 Prometheus 中的 Explore 功能或告警中心使用上述 PromQL 语句查看具体的指标或配置告警，请修改或删除语句中关于集群、节点、容器组的变量。例如：将 cluster=~"$Cluster"参数中的$Cluster变量修改为具体的集群 ID ，或直接删除该参数。
查看指标
您可以使用托管 Prometheus 的 Explore 功能来快速查询和展示指标数据。详情请参见 指标查询。
配置告警
您可以在托管 Prometheus 的告警中心配置集群相关告警，包括：