cAdvisor集成Prometheus后container_cpu_load_average_10s指标返回0求助

结合你提到的场景——Prometheus 2.1.0抓取cAdvisor时该指标返回0，但cAdvisor Web UI能正常看到CPU负载，其他CPU指标（比如container_cpu_system_seconds_total）正常，我整理了几个常见的排查方向和解决办法：

1. 先确认cAdvisor是否真的输出了非0的container_cpu_load_average_10s指标 #

首先跳过Prometheus，直接验证cAdvisor本身是否正确暴露了这个指标：

• 执行命令：curl http://<你的cAdvisor地址>:<端口>/metrics | grep container_cpu_load_average_10s
• 如果返回的结果里有非0的数值（比如container_cpu_load_average_10s{container="...",instance="...",...} 0.5），说明问题出在Prometheus的抓取或处理环节；如果返回的全是0，那你需要检查cAdvisor的配置（比如是否有权限读取主机的负载信息，或者cAdvisor版本是否存在相关bug）。

2. 检查Prometheus抓取配置的细节 #

你提供的配置没写完，需要确认以下几点：

• 是否存在metric_relabel_configs或relabel_configs规则，不小心过滤掉了该指标的非0值？比如有没有类似drop或者replace规则影响了这个指标。
• 确认scrape_configs里的targets是否指向了正确的cAdvisor实例，有没有端口或地址写错的情况。
• 检查metrics_path是否确实是/metrics（cAdvisor默认就是这个路径，但如果有自定义配置需要确认）。

3. 考虑Prometheus版本兼容性问题 #

Prometheus 2.1.0是2018年的老版本，而cAdvisor后续的版本可能对container_cpu_load_average_10s指标的暴露方式做了调整，老版本Prometheus可能无法正确解析：

• 你可以尝试临时升级Prometheus到较新的稳定版本（比如2.40+），测试是否能正常抓取到该指标的非0值。如果升级后问题解决，说明是老版本的兼容性问题。
• 如果暂时无法升级，可以查看cAdvisor的版本，是否和Prometheus 2.1.0存在已知的兼容性冲突，比如cAdvisor版本过高导致指标格式不被老Prometheus支持。

4. 检查Prometheus表达式浏览器的查询逻辑 #

有时候不是指标没抓到，而是你的查询方式导致显示为0：

• 直接在Prometheus的表达式浏览器里输入container_cpu_load_average_10s，查看所有实例的该指标值，是否有非0的条目。
• 如果只有特定实例显示0，检查该实例对应的容器是否真的没有CPU负载，或者cAdvisor对该容器的监控存在问题。

5. 验证cAdvisor的运行权限 #

如果cAdvisor是容器化部署的，需要确保它有足够的权限读取主机的系统负载信息：

• 检查cAdvisor的启动命令，是否挂载了必要的主机目录，比如/proc、/sys，这些是cAdvisor获取系统负载数据的关键路径。
• 比如典型的cAdvisor启动命令会包含：

  docker run \
    --volume=/:/rootfs:ro \
    --volume=/var/run:/var/run:rw \
    --volume=/sys:/sys:ro \
    --volume=/var/lib/docker/:/var/lib/docker:ro \
    --publish=8080:8080 \
    gcr.io/cadvisor/cadvisor:latest
  

  如果缺少/proc或/sys的挂载，可能导致cAdvisor无法获取负载数据，进而输出0值。

内容的提问来源于stack exchange，提问作者aries