如何编写带默认阈值的Kafka消费者组滞后告警PromQL查询

需要为Alertmanager编写PromQL查询，检测Kafka消费者组是否出现滞后（当滞后指标超过设定阈值时触发告警）。现有查询如下：

sum(kafka_consumergroup_lag_sum) by (consumergroup, topic) 
> on (consumergroup) group_left (consumergroup)
avg(catalog_component_kafka_alerts_limits{severity="info"}) by (consumergroup)

但catalog_component_kafka_alerts_limits指标未包含所有消费者组，因此需要设置默认阈值作为fallback。当前使用or拼接两个查询的方案虽然可行，但写法冗余、维护成本高：

(
  sum(kafka_consumergroup_lag_sum) by (consumergroup, topic) 
  > on (consumergroup) group_left (consumergroup)
  avg(catalog_component_kafka_alerts_limits{severity="info"}) by (consumergroup)
)
or
sum(kafka_consumergroup_lag_sum) by (consumergroup, topic) > 1000

期望实现简洁的带默认阈值的查询结构，类似：

sum(kafka_consumergroup_lag_sum) by (consumergroup, topic) 
> on (consumergroup) group_left (consumergroup)
(avg(catalog_component_kafka_alerts_limits{severity="info"}) by (consumergroup) or vector(1000))

方法1：简化默认值匹配（基础版） #

核心是给or添加on()条件，让无标签的默认值vector(1000)能匹配所有缺失阈值的消费者组：

sum(kafka_consumergroup_lag_sum) by (consumergroup, topic)
> on (consumergroup) group_left
(
  avg(catalog_component_kafka_alerts_limits{severity="info"}) by (consumergroup)
  or on() vector(1000)
)

• 原理：on()表示忽略标签匹配规则，当某个消费者组在catalog_component_kafka_alerts_limits中没有对应阈值时，会自动使用vector(1000)作为默认值。
• 优势：写法简洁，适合不需要保留默认值标签维度的场景。

方法2：带标签的默认值（进阶版） #

如果需要默认值也带上consumergroup标签（方便后续关联元数据如team标签），可以从滞后指标中提取所有消费者组并生成对应默认值：

sum(kafka_consumergroup_lag_sum) by (consumergroup, topic)
> on (consumergroup) group_left
(
  avg(catalog_component_kafka_alerts_limits{severity="info"}) by (consumergroup)
  or on(consumergroup) group_left
  (sum(kafka_consumergroup_lag_sum) by (consumergroup) * 0 + 1000)
)

• 原理：sum(kafka_consumergroup_lag_sum) by (consumergroup) * 0 + 1000会生成所有存在的消费者组对应的阈值指标（值为1000，保留consumergroup标签），再通过or on(consumergroup)与自定义阈值合并，确保每个消费者组都有对应的阈值。
• 优势：保留完整的标签维度，便于后续扩展元数据关联逻辑。

关键说明 #

• 原期望写法无法生效的原因：vector(1000)没有consumergroup标签，PromQL默认的or会严格匹配所有标签，导致无法与带consumergroup标签的自定义阈值合并。
• 两种方法均避免了冗余的重复查询，大幅提升查询的可维护性，添加元数据标签时只需修改一次滞后指标的聚合逻辑即可。

内容的提问来源于stack exchange，提问作者aiven