关于cAdvisor CPU使用率指标计算差异的技术咨询

我之前碰到过很多运维和监控同学有这个疑惑，核心是对container_cpu_usage_seconds_total的构成理解不够全面——它不只是用户态+内核态耗时的简单相加，里面还包含了其他几类容易被忽略的CPU消耗场景。

先明确三个指标的真实构成 #

• container_cpu_user_seconds_total：容器内进程在用户态（比如应用业务代码执行、用户空间工具运行）消耗的CPU时间累计值。
• container_cpu_system_seconds_total：容器内进程在内核态（比如系统调用、内存分配、IO调度）消耗的CPU时间累计值。
• container_cpu_usage_seconds_total：这个指标是容器全场景CPU耗时的总和，除了上面的user和system模式，还包含以下几类：
  • steal时间：当宿主机CPU资源不足时，Hypervisor从容器“抢占”走的CPU时间（常见于虚拟化环境的K8s节点）。
  • softirq时间：内核处理软中断的耗时（比如大量网络包收发时，内核需要处理的中断请求）。
  • irq时间：硬件设备触发的硬中断处理耗时。
  • nice时间：调整过优先级的低优先级用户态进程消耗的CPU时间。

为什么两者的使用率之和不相等？ #

当你计算：

sum by (pod) (rate(container_cpu_user_seconds_total[1m]) * 100) + sum by (pod) (rate(container_cpu_system_seconds_total[1m]) * 100)

得到的只是用户态+内核态的CPU使用率占比；而

sum by (pod) (rate(container_cpu_usage_seconds_total[1m]) * 100)

是所有CPU模式的总使用率。两者的差值，就是上述steal、softirq、irq、nice等模式的CPU使用率之和。

举个实际场景的例子 #

• 如果你的容器运行在虚拟机节点的K8s集群中，当节点CPU负载很高时，steal时间会明显上升，这时候差值就会变大——代表容器的CPU被宿主机其他租户/进程抢占了一部分。
• 如果容器是网络密集型服务（比如API网关、消息队列），softirq时间会增加，差值就对应内核处理网络中断的CPU开销。

验证方式 #

你可以用PromQL查看container_cpu_usage_seconds_total的细分模式指标，执行以下查询就能直观看到所有构成项：

sum by (pod, mode) (rate(container_cpu_usage_seconds_total[1m]) * 100)

把同一pod下所有mode的数值相加，结果会和sum by (pod) (rate(container_cpu_usage_seconds_total[1m]) * 100)完全一致。

内容的提问来源于stack exchange，提问作者Tony.H