Prometheus如何优化counter类IIS请求量下降百分比告警规则
Counter类型IIS请求量下降告警的精准优化方案
现有规则的核心缺陷本质
- 纯百分比阈值逻辑完全忽略流量绝对规模的影响:当历史对比窗口的请求基数本身很低时,哪怕几个请求的自然波动,都会被放大成极高的下降比例触发误报。比如某站点1小时前的10分钟窗口仅累计2个请求,当前窗口没有任何请求,计算出的下降幅度为100%,但这类低流量场景的访问波动属于正常范围,根本不需要触发告警。
- 零请求场景下告警自动恢复的逻辑bug:当连续1小时完全没有请求流入时,两个10分钟窗口的增量值都会被计算为0,代入原公式会触发
0/0的除零运算,在Prometheus求值逻辑里这类运算结果是无数据的NaN值,会直接导致原本触发的告警被判定为“指标缺失”而自动恢复,完全违背“零请求就是最高级别服务异常”的判定目标。
分层优化的落地规则
增加绝对流量基准校验,过滤小基数误报
- 给百分比下降的计算逻辑增加前置判断:只有当历史对比窗口的请求增量绝对值高于业务约定的最小流量阈值时,才参与百分比下降的计算。对常规生产站点,这个阈值可以设为100(即1小时前的10分钟区间至少累计100个请求,才触发百分比告警的判定);对日均请求量很低的内部测试站点,可将阈值调低至10,避免一刀切的规则漏掉真实异常。
- 不要直接使用
increase()函数计算长时间窗口的增量值,该函数基于采样点做平滑插值,遇到Counter重置、采集间隔抖动时容易出现偏差,直接用两个时间点的Counter原始值做差计算增量,精度更高,也能避免Counter重启后出现负值增量的计算误差。
单独配置零请求硬告警,修复空值恢复bug
- 绕开百分比计算的除零逻辑,单独配置规则判定当前10分钟窗口的请求增量:只要连续2分钟没有新增的IIS请求流入,不管历史流量规模多大,直接触发最高优先级告警。
- 这类规则完全不依赖历史对比值,从根源上避免了除零导致的告警自动恢复问题,确保站点完全无请求的异常场景不会被漏报。
优化时间窗口对比逻辑,降低短期波动噪声
- 将原来“严格对比1小时前固定10分钟窗口流量”的逻辑,替换为“连续两个统计窗口的计算结果都满足下降要求才触发告警”:比如连续两个10分钟区间计算出的下降幅度都超过50%,才正式触发告警,避免单区间因为临时流量排队、短时流量低谷导致的波动误报。
- 可将基准值从固定offset 1h的单窗口值,调整为过去1小时的平均10分钟请求量,自动适配站点流量的周期性波动,避免早高峰等流量爬升阶段,拿尚未达到峰值的当前窗口和1小时前已进入流量峰值的窗口对比,导致的误报。
参考优化后的PromQL规则
# 零请求硬告警:连续2分钟无新增请求即触发 (windows_iis_requests_total - windows_iis_requests_total offset 2m) < 1 for: 0m # 百分比下降告警:仅当历史基准流量大于100的阈值,且下降幅度超50%时触发 round( 100 - ( (windows_iis_requests_total - windows_iis_requests_total offset 10m) / (windows_iis_requests_total - windows_iis_requests_total offset 1h) ) * 100 ) > 50 and ((windows_iis_requests_total - windows_iis_requests_total offset 1h)) > 100
额外降噪注意事项
- 告警规则需按照IIS站点的label做维度拆分,不要把所有站点的请求量聚合后计算,避免大流量站点的流量波动掩盖小站点的异常。
- 对计划内的站点维护窗口,可在规则中增加过滤条件排除对应实例,避免维护期间的正常流量下降触发无效告警。
内容的提问来源于stack exchange,提问作者passwd
相关产品推荐
相关产品推荐

