如何检测Prometheus中Kafka消费者组延迟1小时持续增长？

问题背景 #

近期在基于Prometheus的现有Kafka消费延迟告警场景中，遇到不少难以排查的误报，希望排查当前查询逻辑或思路是否存在明显问题。

关联指标说明 #

使用指标kafka_consumergroup_lag存储消费者组的预期延迟值，该指标包含两个核心标签：

• consumergroup：消费者组名称
• topic：消费的主题名称

通过sum(kafka_consumergroup_lag) by (consumergroup, topic)可查看延迟的典型模式：

当延迟出现1小时内持续增长且无下降的情况时，可能预示严重问题，需要触发告警。

告警需求 #

需构建PromQL查询，检测特定consumergroup-topic组合在1小时内的延迟持续增长，并结合Grafana配置告警，告警信息示例：$consumergroup中$topic的消费者延迟已持续增长1小时。

当前实现及问题 #

目前使用的查询语句如下，但存在较多误报：

sum(increase(kafka_consumergroup_lag{consumergroup="my-consumer-group"}[1h])) by (consumergroup, topic) >= 3600

对应的告警配置：

• 评估频率：每1分钟评估一次
• 触发条件：持续满足5分钟，当query(queryName, 5m, now)的last()值大于0时触发

看似简单的检测逻辑，实际实现精准告警难度较高，需要优化。

内容的提问来源于stack exchange，提问作者Rion Williams