Kafka Streams中changelog主题消费组及分区滞后量查询方法

1. 消费changelog主题的消费者组是什么？ #

Kafka Streams消费changelog主题的是内部恢复消费者（restore consumer），它们所属的消费者组名格式为${application.id}-internal。这个组是Kafka Streams自动创建的，专门用于状态存储的恢复与同步，和处理输入主题的主消费者组（即你的application.id）是完全分开的。

2. 如何通过kafka-cli或其他方法获取changelog分区的滞后量？ #

方法一：使用kafka-consumer-groups命令 #

1. 先列出所有消费者组，定位目标内部组：

kafka-consumer-groups --bootstrap-server <Kafka集群地址> --list

你会看到名称为<你的application.id>-internal的组。

2. 查看该内部组的详细消费数据，其中包含changelog主题的偏移量信息：

kafka-consumer-groups --bootstrap-server <Kafka集群地址> --describe --group <你的application.id>-internal

输出里会显示对应changelog主题（命名规则一般为${application.id}-<状态存储名>-changelog）的每个分区的CURRENT-OFFSET（当前消费到的偏移量）和LOG-END-OFFSET（日志末尾偏移量），两者的差值就是该分区的滞后量。

方法二：结合GetOffsetShell和消费者组信息计算 #

如果需要更直接的偏移量对比，可以先用GetOffsetShell获取changelog主题的最新偏移量：

kafka-run-class kafka.tools.GetOffsetShell --bootstrap-server <Kafka集群地址> --topic <目标changelog主题名> --time -1

再通过上述kafka-consumer-groups --describe命令拿到对应分区的CURRENT-OFFSET，两者相减即可得到滞后量。

其他非CLI方法 #

可以通过Kafka AdminClient API编写简单程序，分别获取changelog主题的分区末尾偏移量和内部消费者组的消费偏移量，自行计算滞后量。

内容的提问来源于stack exchange，提问作者Bilal Ennouali