如何编写基于异常占比而非绝对值的Presto Worker节点Prometheus告警查询
Prometheus Presto Worker节点告警查询调优
核心需求
- 监控范围:所有实例名以
presto.worker结尾的节点 - 计算指标:节点不可用占比 = 不可用节点数 / 目标节点总数量
- 告警触发条件:不可用占比超过10%(即可用节点占比低于90%)
原查询的核心问题
原查询语句:
count by(presto_failuredetector_HeartbeatFailureDetector_ActiveCount) (up{instance=~"[A-Za-z.]+[A-Za-z.-]+(presto.)+(worker)"}) < 0.9
运行无法达到预期的原因:
- 正则匹配规则失效:没有行尾锚定,也未对特殊字符
.做转义,既不能精准筛选「实例名整体以presto.worker结尾」的目标节点,还会把prestoXworker这类不符合命名规则的实例误纳入统计 - 分组维度错误:按与节点存活统计无关的
presto_failuredetector_HeartbeatFailureDetector_ActiveCount标签做分组,会把统计结果拆成细碎的独立组,完全无法得到目标节点的全局计数 - 计算逻辑错配:
count函数的返回值是整数型的节点数量,直接和0.9的浮点数做大小比较没有实际意义,也缺失了“占比计算”的核心逻辑
调优后的可运行查询
最终符合需求的查询语句:
sum(up{instance=~".*presto\.worker$"}) / count(up{instance=~".*presto\.worker$"}) < 0.9
实现逻辑拆解:
- 正则部分:
.*presto\.worker$精准匹配任意开头、结尾为presto.worker的实例名,转义点号避免通配符误匹配 - 计数逻辑:
count(up{...})统计匹配规则下所有上报过up指标的节点总数量;sum(up{...})利用up指标原生的1(节点正常)/0(节点异常)布尔值特性,求和结果即为当前正常运行的节点数量 - 阈值判断:两者的比值即为正常节点占比,当结果小于0.9时,代表异常节点占比已超过10%,满足告警触发条件
落地注意事项
- 正则中的
.必须转义为\.,否则会被Prometheus的正则引擎当成通配符匹配任意单字符,引发统计范围扩大的问题 - 无需额外关联其他Presto业务指标做统计维度,直接基于全局up指标计算即可保证统计完整性
- 如果存在节点离线后完全不上报up指标的场景,可补充校验目标节点的注册清单,避免因指标缺失导致统计漏算
内容的提问来源于stack exchange,提问作者Yaniv Hakim
相关产品推荐
相关产品推荐

