为何Grafana与Prometheus执行相同查询结果不一致？

核心问题 #

使用相同的PromQL查询语句 count_over_time(certificates_created{}[5d:5m]) 时，Grafana仪表盘返回的结果与Prometheus Web UI的结果存在差异，预期两者结果一致但未达成。

可能的原因及排查方向 #

• 时间范围与步长不匹配：Grafana会根据面板时间跨度和显示像素自动调整查询步长，而Prometheus Web UI默认步长可能不同。此外，两者的时间范围起始/结束时间若未完全对齐，也会导致统计结果差异。可检查Grafana面板的「查询选项」是否设置了自定义步长，对比两者时间范围是否完全一致。
• Grafana额外降采样处理：当图表像素宽度小于数据点数量时，Grafana会自动对查询结果做降采样聚合，而Prometheus Web UI返回的是更原始的count_over_time统计结果。可在Grafana查询编辑器中开启「原始数据」模式，直接对比Prometheus返回的原始结果与Web UI是否一致。
• 查询上下文差异：Grafana数据源可能配置了全局标签、查询模板变量或代理查询，导致实际发送给Prometheus的查询语句和Web UI中手动输入的存在差异。可通过Grafana的「查询检查器」获取实际执行的PromQL，确认与Web UI使用的语句完全一致。
• 时区配置不一致：若Grafana的时区设置与Prometheus服务器时区不同，会导致[5d:5m]定义的时间窗口错位，统计的时间区间不匹配。检查两者的时区配置是否统一。

验证步骤 #

1. 打开Grafana查询编辑器的「查询检查器」，复制实际发送的PromQL语句，粘贴到Prometheus Web UI执行，对比结果是否一致。
2. 将Grafana面板的时间范围手动设置为与Prometheus Web UI完全相同的起止时间，关闭自动步长调整，强制使用固定步长5m后重新查询。
3. 检查Grafana数据源配置，确认未添加额外的全局标签或过滤条件。

内容的提问来源于stack exchange，提问作者Taewon