1. 核对消费者组偏移量提交状态 #

• 用Kafka命令行工具直接查看消费者组的偏移量细节，确认CURRENT-OFFSET（已提交偏移量）和LOG-END-OFFSET（主题日志末端偏移量）的差值：

  kafka-consumer-groups.sh --bootstrap-server <你的Kafka地址> --describe --group <你的消费者组名>
  

  如果差值确实是10，说明主题日志末端偏移量确实比提交的偏移量高10，重点转向主题本身的消息状态排查。

2. 检查主题日志的清理状态 #

• 可能主题存在已标记过期但未被异步清理的消息片段。先查看主题的清理配置：

  kafka-configs.sh --bootstrap-server <你的Kafka地址> --describe --topic <你的主题名>
  

  重点关注log.cleanup.policy（清理策略）、log.retention.ms（消息留存时长）参数。开发环境下可以手动触发日志清理：

  kafka-run-class.sh kafka.log.LogCleaner --bootstrap-server <你的Kafka地址> --topic <你的主题名>
  

3. 排查消费者提交逻辑的隐性问题 #

• 即便配置了高频轮询，也可能存在提交时机异常：
  • 检查代码中commitSync()/commitAsync()的调用时机，是否存在处理消息前提前提交，或者异常退出时未完成最后一次提交的情况；
  • 确认是否是批量处理场景下，最后一批消息处理完成后未触发提交就终止了消费。

4. 校验Broker端的偏移量计算 #

• 个别情况下Broker的元数据不同步会导致LOG-END-OFFSET计算偏差，可查看Broker日志中是否有偏移量相关的错误信息；
• 检查主题各分区的偏移量情况，是否仅单个分区存在10的滞后量，针对性排查该分区的状态。

5. 开发环境特殊处理 #

• 本地嵌入式Kafka或轻量部署环境容易出现元数据缓存未更新，尝试重启Kafka集群和消费者服务，再观察滞后量是否归零。

内容的提问来源于stack exchange，提问作者SGiux