如何用Telegraf+InfluxDB+Grafana监控Kubernetes Pod CPU Throttling?
基于Telegraf+InfluxDB+Grafana栈实现Kubernetes Pod CPU Throttling监控的方案
核心认知澄清
“仅Prometheus生态可获取CPU Throttling指标”是常见的认知误区。CPU Throttling的原始数据源完全来自K8s节点上每个Pod对应的cgroup CPU控制层统计,Prometheus只是拉取这些数据的可选采集器之一,并非指标本身的提供方。
核心原始统计字段包括:
- 累计触发CPU CFS限流的次数(
nr_throttled)- 累计因CPU限流产生的等待时长(
throttled_time/throttled_usec)
Telegraf作为通用采集器,完全可以通过以下成熟路径拿到这套数据,不需要依赖Prometheus组件。
可落地的采集配置路径
路径1:Telegraf内置cgroup输入插件直接读取节点cgroup数据
- 适用场景:集群统一使用cgroupv1(存量K8s集群默认配置)
- 配置流程:
- 开启Telegraf的
inputs.cgroup插件,指定K8s Pod对应的cgroup目录前缀,通常为/sys/fs/cgroup/cpu/kubepods.slice/下的Pod专属目录段 - 插件会自动读取每个Pod对应cgroup路径下
cpu.stat文件的限流统计值,自动附带Pod UID、所在节点标签 - 数据直接写入InfluxDB后,在Grafana查询层通过差值计算生成有效监控指标:
- 单位周期限流等待占比:
(throttled_time差值 / 采样间隔总时长),反映单位时间内Pod被CPU调度阻塞的时间比例 - 单位周期限流触发次数:
nr_throttled的相邻采样差值,反映限流的触发频率
- 单位周期限流等待占比:
- 开启Telegraf的
- 适配调整:cgroupv2集群需要把采集路径调整为v2版本的cgroup挂载目录,适配cpu.stat文件的字段命名差异即可正常采集。
路径2:Telegraf内置prometheus输入插件直接对接Kubelet的cAdvisor接口
- 适用场景:不想手动适配cgroup路径、兼容cgroupv1/v2混合部署的集群
- 配置流程:
- 无需部署独立的Prometheus服务,直接开启Telegraf的
inputs.prometheus插件 - 将采集目标指向节点Kubelet的公开指标接口(默认只读端口10255的
/metrics/cadvisor路径,或带认证的10250端口对应路径) - Kubelet内置的cAdvisor模块本身会把cgroup层面的限流指标标准化为
container_cpu_cfs_throttled_periods_total、container_cpu_cfs_throttled_seconds_total字段暴露,Telegraf可以直接拉取数值,自动关联Pod名称、命名空间、容器名标签 - 拉取到的指标无需格式转换,直接写入InfluxDB即可在Grafana侧展示
- 无需部署独立的Prometheus服务,直接开启Telegraf的
- 配置注意:拉取10250端口的受保护指标时,需要配置对应的K8s ServiceAccount访问令牌、CA证书,权限配置逻辑和Prometheus拉取Kubelet指标的要求完全一致,不需要新增特殊权限。
路径3:搭配Telegraf的Kubernetes输入插件关联元数据
- 适用场景:需要按Deployment、StatefulSet等工作负载维度聚合排查限流问题的场景
- 配置流程:
- 开启Telegraf的
inputs.kubernetes插件,配置集群API Server的访问地址 - 插件会自动同步集群内所有Pod的元数据标签,和前面两种路径采集到的原始限流指标做自动绑定,补上Pod所属工作负载、可用区、节点IP等标签
- 绑定元数据后的时序数据写入InfluxDB后,Grafana侧可以直接按业务维度做聚合统计,不需要手动关联Pod和工作负载的映射关系。
- 开启Telegraf的
常见踩坑提示
- 采集到的
nr_throttled、throttled_time都是Pod启动后从0开始累计的单调递增值,必须在查询时计算相邻采样周期的差值,不能直接拿累计值做展示,否则会出现数据失真 - 低版本Telegraf的cgroup插件不会自动区分系统cgroup和K8s Pod cgroup,需要手动指定cgroup路径前缀,避免把系统服务的指标和Pod指标混为一谈
- Grafana侧的告警阈值可以直接复用Prometheus生态的通用判断标准:当单位周期内CPU限流等待占比超过20%,即可判定Pod的CPU request配置偏低,存在调度阻塞风险。
内容的提问来源于stack exchange,提问作者Vishalendu
相关产品推荐
相关产品推荐

