如何统计Kafka指定消费组未读消息数以监控消费滞后情况

可行的Kafka消费滞后监控方案 #

Kafka本身已经内置了消费位移（offset）的全量管理能力，不需要自行遍历消息或者维护生产消费计数，主流实现方案分为三类：

• 直接使用官方自带工具查询：执行kafka-consumer-groups.sh脚本即可快速拿到结果，参考命令如下：

  kafka-consumer-groups.sh --bootstrap-server <你的Kafka集群Broker地址> --describe --group group_a
  

  返回结果里会直接展示每个分区的最新生产offset（LOG-END-OFFSET）、消费组已提交的最新消费offset（CURRENT-OFFSET），两者差值就是对应分区的未消费消息数，所有分区求和就是整个消费组的总未读数。这个操作直接读取Broker的元数据，不会扫描任何业务消息，效率极高。
• 对接成熟监控体系实现自动化告警：如果需要持续监控和自动告警，用行业通用的Prometheus + Grafana方案即可，通过JMX Exporter采集Kafka的kafka_consumergroup_lag指标，直接配置阈值告警规则，当lag超过1000时自动触发通知，不需要修改任何业务代码。
• 自行编码集成到内部系统：如果要把监控能力集成到自己的运维平台，直接调用Kafka客户端的Admin API，即可查询指定消费组的提交offset、对应topic各分区的最新end offset，自行计算差值即可，全程不需要改动生产者和消费者的业务逻辑。

你的疑问解答 #

• 你认为「遍历整个topic统计消息的方案既不规范也不高效」的判断完全正确。Kafka的topic可能存储TB级的历史消息，遍历会占用大量集群IO资源，属于完全没有必要的操作，直接查询Broker存储的offset元数据即可，耗时通常在毫秒级。
• 不需要自行维护生产、消费的消息计数，也不需要把Kafka作为共享存储存储计数数据。Kafka本身已经自动维护了所有分区的最新消息offset（end offset），以及每个消费组的已提交消费offset，两者直接相减就能得到准确的未读消息数，天然适配多生产者、多消费者的分布式部署场景，不需要额外做任何业务改造。
• 统计未读消息数（即消费滞后lag）是判断消费者资源是否充足的核心指标，不存在XY问题。只要lag呈现持续上涨趋势，就说明当前消费者的消费速度跟不上生产速度，要么是消费者实例数量不足，要么是单实例处理性能达不到要求，直接对应资源分配不合理的问题，这也是Kafka生态通用的消费者健康判断标准。

内容的提问来源于stack exchange，提问作者aSaffary