使用Kafka Admin API查询committed与latest offset相关问题咨询

问题1：committed与latest offsets的查询来源描述是否准确？ #

你的描述完全准确：

• 已提交位移（committed offset）：所有消费者组的位移提交记录都会持久化存储在Kafka内置的特殊主题__consumer_offsets中，调用listConsumerGroupOffsetsAPI时，集群侧直接从该主题查询对应消费者组的位移记录返回。
• 分区最新末端位移（latest/end offset）：该位移属于业务主题分区本身的日志元数据，标识该分区下一条待写入消息的位移值，调用listOffsets查询时，集群侧直接读取对应业务主题分区的本地日志元数据返回，不会访问__consumer_offsets主题。

问题2：是否可以直接查询__consumer_offsets主题？ #

可以直接查询，但需要注意以下限制：

• 存储格式特殊：该主题的消息采用Kafka自定义的二进制序列化协议存储，直接用普通消费者消费只能拿到二进制数据，需要实现对应的反序列化逻辑才能解析出消费者组ID、对应主题分区、提交位移、提交时间等可读信息。
• 权限要求：如果集群开启了ACL鉴权，你使用的客户端账号需要被授予该主题的消费权限才能正常读取。
• 生产使用建议：常规查询消费者组位移的场景优先使用官方提供的AdminClient对应API，相比直接消费内部主题，兼容性更好、性能更高，也不会干扰集群内部的位移管理逻辑。

内容的提问来源于stack exchange，提问作者Mazen Ezzeddine