如何解决Grafana中使用increase()函数时的指标误差问题

问题背景 #

使用以下PromQL统计Java应用请求量时，实际调用次数与Grafana显示值存在明显偏差，且调用量越高差值越大：

sum by(pod) (increase(application_input_total{service="$service"}[1m]))

例如：1次调用显示1.09次，20次调用显示22次，60次调用显示67次。

误差原因 #

increase()函数基于Prometheus的采样机制工作：它会取指定时间窗口内的第一个和最后一个采样值计算差值，再结合窗口时间做线性插值估算。如果请求分布不均匀、采样间隔与窗口不匹配，或者窗口内采样点不足，就会出现估算偏差。

解决方案 #

1. 替换为irate函数（优先推荐） #

irate()基于窗口内最后两个采样点计算瞬时增长率，再乘以窗口时间得到增长量，对突发请求的统计误差更小。修改后的PromQL：

sum by(pod) (irate(application_input_total{service="$service"}[1m]) * 60)

注：irate适合短时间窗口（如1-5分钟），能更准确反映实时请求变化。

2. 调整时间窗口为采样间隔的整数倍 #

先确认Prometheus的scrape_interval配置（默认多为15s），将窗口设置为采样间隔的整数倍。若请求集中在采样间隙，可尝试缩小窗口提升采样密度，比如采样间隔15s时改用30s窗口：

sum by(pod) (increase(application_input_total{service="$service"}[30s]))

3. 检查计数器实现正确性 #

确保Java应用中的application_input_total是标准计数器：

• 仅在请求到达时调用increment()，无递减或异常重置逻辑；
• 使用成熟监控库（如Micrometer、Prometheus Java Client）实现，避免自定义计数器的逻辑错误。

4. 对齐查询时间窗口 #

Prometheus查询窗口会随当前时间自动对齐，若请求集中在窗口边缘，可能被部分统计。可尝试在整分钟时刻查询，或用offset调整窗口覆盖请求时段：

sum by(pod) (increase(application_input_total{service="$service"}[1m] offset 10s))

内容的提问来源于stack exchange，提问作者Beerus239