Kafka删除Topic后消费者组偏移量未清理的问题咨询

现象与核心疑问 #

删除有活跃消费者订阅的Kafka Topic时，即便Broker组管理器已执行清理组元数据的逻辑（该逻辑会删除所有groupId的偏移量，无论状态），部分消费者组仍会保留该Topic的偏移量。后续重新创建同名Topic时，消费者会直接跳至之前的偏移量位置，跳过0到该偏移量之间的所有消息。

核心疑问：是否存在某个阶段，消费者会将本地缓存的旧偏移量重新发送给协调器，进而重新写入consumer_offset分区？

问题推测 #

我们发现该问题多发生在poll间隔较长（如60秒）的消费者组，推测这类消费者从空闲状态唤醒时，会同步本地存储的旧偏移量，覆盖协调器已经完成的偏移量删除操作。

当前规避方案 #

方案一 #

• 让消费者取消订阅待删除的Topic
• 等待一段时间（确保消费者完成状态同步）
• 使用偏移量删除API删除每个消费者组对应该Topic的偏移量
• 删除Topic

方案二 #

• 让消费者取消订阅待删除的Topic
• 等待一段时间（确保消费者完成状态同步）
• 删除Topic，依赖协调器现有机制清理消费者组偏移量

待解答问题 #

1. 该问题的具体成因是什么？
2. 有没有更优的解决办法？
3. 额外使用偏移量删除API相比依赖Topic删除的现有清理机制，是否有明显优势？

内容的提问来源于stack exchange，提问作者Ruyik