Prometheus范围查询如何过滤已停更的stale时间序列指标
针对该需求的实现方案
完全可以通过PromQL实现,核心思路是先构建当前仍在活跃上报的时间序列集合,再通过存在性匹配过滤长范围查询结果里的停更stale序列。
为什么60天范围查询会混入stale序列
你现在查60天范围的时候会看到stale序列混进来,本质是Prometheus的范围查询规则决定的——只要序列在你查询的时间窗口里出现过哪怕一个采样点,就会被纳入返回结果,根本不会自动判断这个序列现在是不是还在上报。所以哪怕那个带label2="bar"的序列已经1个月没更新了,只要它的最后一次上报落在60天的查询区间里,就会被查出来,和你观察到的现象完全一致。
具体PromQL实现写法
要实现你要的过滤效果,直接用PromQL的and操作符做存在性匹配就行,不需要复杂的计算。逻辑很简单:
- 左边正常写你要查的60天范围向量,和你原来的查询完全一样
- 右边拿一份当前还在正常上报的、同指标的序列集合
- 用
and做匹配的时候,左边的向量里,凡是能在右边集合里找到同标签序列的就保留,找不到的(也就是已经停更的stale序列)直接剔除
最基础的写法是这样的:
metric{label1="foo"}[60d] and on() metric{label1="foo"}
如果你的监控采集偶尔会有丢包,担心单次查询当前时刻刚好漏了某个活跃序列,导致正常序列被误过滤,可以把右边的活跃判定窗口拉长一点,覆盖几个采集周期就行,比如:
# 只要过去5分钟内有过上报,就算活跃,容错性更好 metric{label1="foo"}[60d] and on() max_over_time(metric{label1="foo"}[5m])
关键注意事项
- 默认情况下
and是按序列的全标签做匹配的,也就是说你那个label2="bar"的stale序列,因为现在已经没上报了,根本不在右边的活跃集合里,自然就被过滤了,刚好符合你要的效果。 - 如果你不想按全标签匹配,可以用
on(标签名)自定义匹配维度,比如只按label1匹配的话就写on(label1),不过大部分场景下默认全标签匹配就够用,不会出错。 - 这个过滤逻辑是全量剔除的:只要序列现在已经停更,不管它在60天的区间里有多少历史数据,都会被整个删掉,不会残留任何历史片段,完全符合你“只保留当前正常上报序列的全量60天历史”的要求。
内容的提问来源于stack exchange,提问作者dalvik
相关产品推荐
相关产品推荐

