如何编写返回各标签值对应结果的Prometheus查询与告警规则?
适配动态标签的Prometheus查询编写指南
场景前置说明
你当前使用的session_duration_seconds指标结构如下:
- 标签包含两类动态维度:
server(自动发现的服务器标识,值随自动发现动态新增、下线,无固定枚举列表)、device_token(单服务器下的唯一会话标识,和server组合为样本唯一键) - 单台server下会挂载大量带独立device_token标签的样本
原始指标示例:
session_duration_seconds{server="S.01",device_token="d0e025d0-ea09-4e7c-8ab1-6216d762a03f"} 2 session_duration_seconds{server="S.01",device_token="806c8c59-0f3c-4ec4-9538-f256408d4d74"} 8 session_duration_seconds{server="S.02",device_token="389c8c59-1336-2224-4538-8956404d4790"} 1 # 样本规模随会话数动态增长
分场景实现方案
1. 按动态server标签计算分位数(可直接配置为记录规则)
核心逻辑是通过by (server)语句显式指定聚合维度,Prometheus会自动匹配所有带server标签的样本做分组计算,不需要提前硬编码server的具体值。
根据指标类型不同,写法分为两类:
- 如果是原生直方图类型的指标:
# 计算每个server维度的95分位会话时长,5分钟统计窗口 histogram_quantile( 0.95, sum by (server, le) ( rate(session_duration_seconds_bucket[5m]) ) ) - 如果是逐会话上报的原始数值型指标:
# 计算每个server维度下所有样本的95分位值 quantile by (server) (0.95, session_duration_seconds)
注意:如果逐会话上报的原始样本量过大,直接用
quantile做全量计算会占用较多查询资源,建议提前通过记录规则固化中间聚合结果,降低查询延迟。
上述查询直接配置为记录规则即可,计算范围会随自动发现的server标签变动自动更新。
2. 为停止暴露指标的server配置动态告警
不需要手动维护server名称列表,通过PromQL的集合运算即可覆盖动态变动的目标范围:
- 先定义判定的对比基准:所有应该上报该指标的server全集
- 若需要覆盖当前在线的自动发现目标:取
up{job="你的会话采集任务名"} == 1的样本集合,这些样本天然携带对应的server标签 - 若需要覆盖历史1小时内曾经出现过的所有server:取
count_over_time(session_duration_seconds[1h]) by (server)的结果作为全集
- 若需要覆盖当前在线的自动发现目标:取
- 用集合排除运算过滤掉“过去一段时间内仍在上报指标的server”,剩下的即为异常停更的server。
最终告警判定查询示例(覆盖在线目标场景):
# 逻辑:所有在线采集目标 排除 过去10分钟仍上报过session_duration_seconds的目标,结果即为异常server ( up{job="你的会话采集任务名"} == 1 ) unless ( max_over_time(session_duration_seconds[10m]) by (server) )
如果需要匹配历史存在过的所有server,将查询中的up部分替换为对应历史全集的查询即可,完全不需要手动维护server枚举。
内容的提问来源于stack exchange,提问作者Shtlzut
相关产品推荐
相关产品推荐

