Node Exporter采集CPU使用率低于top实测结果 如何修复PromQL查询？

你当前的PromQL表达式存在统计维度匹配问题，是导致数值偏差的核心原因之一，同时也可能存在统计口径不匹配的问题，具体排查修复方案如下：

问题原因分析 #

• 第一个核心问题：你对比的数值维度不匹配。Linux top 命令默认列表中展示的进程级%CPU指标是单核心维度，比如4核CPU下，单个进程跑满2个核心时，该进程的%CPU会显示为200%。而你写的PromQL统计的是整台服务器所有核心的平均使用率，对应top中%Cpu(s)行的总使用率（即该行末尾id值的补集），如果你错把进程级%CPU当成整机总使用率来对比，就会出现数值差一倍甚至多倍的情况。
• 第二个问题：当前PromQL存在统计口径遗漏。node_cpu_seconds_total的mode包含idle、iowait、steal、guest等多种状态，部分操作系统会将guest/guest_nice的时间已经统计在user/nice的时间中，如果直接用1 - idle计算，相当于把guest时间重复计算为非空闲时间，也会造成微小偏差。

修复方案 #

第一步：先对齐对比维度 #

确认你对比的是top中%Cpu(s)行的总使用率，而不是单个进程的%CPU数值：

按1可以在top中展开所有CPU核心的单独使用率，可进一步核对单个核心的负载情况。

第二步：修正PromQL表达式 #

推荐使用行业通用的整机CPU使用率计算表达式，覆盖所有异常场景：

100 - (avg by(instance) (rate(node_cpu_seconds_total{job="node",mode=~"idle|iowait|steal"}[1m])) * 100)

如果你的场景下需要统计单核心维度的CPU使用率（和top中进程级%CPU的统计口径对齐），可以用以下表达式：

100 - (sum by(instance) (rate(node_cpu_seconds_total{job="node",mode="idle"}[1m])) * 100)

这个表达式用sum替代了avg，直接统计所有核心的总空闲时间，最终结果就是整机总CPU使用率的单核心口径，比如4核全跑满时结果为400%，和top进程级%CPU的统计口径完全一致。

第三步：核对采集配置 #

• 确认Prometheus对Node Exporter的采集间隔不大于15s，计算rate的时间窗口至少是采集间隔的4倍，避免rate计算丢失峰值数据。
• 确认Node Exporter没有禁用CPU指标采集，node_cpu_seconds_total的cpu标签覆盖了所有逻辑核心。

内容的提问来源于stack exchange，提问作者NineWoranop