Kafka生产2条消息后OFFSET高于已生产记录数的问题咨询

你遇到的偏移量异常情况，大概率是以下几种原因导致的，逐个排查就能找到根因：

• 消息被删除但偏移量未重置
  Kafka的偏移量是单调递增的，哪怕消息因为过期、清理策略被删除，分区的LOG-END-OFFSET不会回退。比如你之前可能给这个分区发过消息（哪怕后来删除了），当时的LOG-END-OFFSET是2，之后再发2条消息，偏移量就会从2开始递增到3，最终LOG-END-OFFSET变成4，刚好和你看到的结果一致。

• 生产者重复写入消息
  如果生产者开启了重试机制（比如retries参数大于0），或者网络波动导致生产者误以为发送失败而重复发送，就可能出现实际写入的消息数比你预期多的情况。比如你以为只发了2条，但实际Kafka收到了4条，其中2条是重复的。

• 消息被过滤或丢弃但偏移量已分配
  要是你的Topic配置了消息过滤器，或者生产者发送的消息不符合Topic的约束（比如启用了Schema Registry但消息格式不匹配），部分消息会被Kafka丢弃，但Kafka已经为这些消息分配了偏移量，也会导致LOG-END-OFFSET跳变。

验证方法 #

先确认分区0里实际有多少条消息，用控制台消费者从头消费该分区：

%KAFKA_HOME%\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic some-topic --partition 0 --from-beginning

如果能消费到4条消息，那就是重复写入的问题；如果只有2条，那就是之前的消息被清理但偏移量没重置导致的。

如果是偏移量未重置的问题，想要彻底清空分区并重置偏移量，只能删除Topic后重新创建（注意备份数据），或者使用kafka-delete-records.sh配合消费者偏移量重置命令，但后者不会修改LOG-END-OFFSET，只是让消费者从指定偏移量开始消费。

内容的提问来源于stack exchange，提问作者geno