Kafka消费者未按预期从offset 0开始消费消息问题求助

问题根因 #

1. 消费者组偏移量独立存储
   Kafka的消费者组偏移量不会随业务Topic删除而清除，是单独存储在内部主题__consumer_offsets中的。你删除旧Topic后重建同名Topic，原消费者组test-group对应该Topic的偏移量记录仍然存在，消费者启动时会优先读取已有的历史偏移量继续消费，自然就跳过了新Topic前N条消息。
   你查询到lag为0是正常现象：Kafka判断消费者组lag的逻辑是LOG-END-OFFSET - CURRENT-OFFSET，只要你的消费者偏移量已经追上新Topic的最新写入偏移量，就会显示lag为0，和你是否消费了历史消息无关。
2. 次要可能：Topic删除未完全同步
   部分集群配置下Topic删除是异步操作，如果删除后立刻重建同名Topic，可能出现元数据残留，导致偏移量读取异常。

解决方案 #

• 每次重建Topic后，同步删除对应消费者组的偏移量，执行命令：

./kafka-consumer-groups --bootstrap-server host:port --delete --group test-group --topic ${TOPIC}

• 消费者配置中显式添加参数auto.offset.reset=earliest，该参数会在消费者组无有效偏移量时自动从最早的消息开始消费，注意该参数仅在无已提交偏移量时生效，需要配合偏移量删除操作使用。
• 测试场景下也可以每次测试使用全新的消费者组名称，从根源避免旧偏移量干扰。
• 删除Topic后等待3~5秒再执行创建操作，确保集群元数据完全同步。

内容的提问来源于stack exchange，提问作者Simon SOUVMX