Kafka手动提交Offset机制：重启后是否重复消费已提交偏移量消息？

• 先明确核心逻辑：Kafka消费组存储的偏移量，是下一次要拉取的消息的起始位置，而非你已经处理完的最后一条消息的偏移量。
• 针对你的场景拆解：
  • 正常规范的操作是，处理完偏移量13的消息后，提交偏移量14（告诉Kafka“我已经处理完13及之前的所有消息，下次从14开始拉取”），此时消费组记录的偏移量为14，重启后会直接从14开始拉取，不会再消费12和13的消息。
  • 但如果你的代码直接提交了偏移量13（比如误将当前处理的消息偏移量作为提交值），消费组会记录偏移量13，重启后从13开始拉取——这种情况下，13的消息会被重新消费，同时12的消息因为之前处理失败未提交，也会被重新拉取处理。
  • 你提到“重启后从12开始读取”，这说明消费组实际记录的偏移量还是12，大概率是提交13的操作未生效（比如提交时抛出异常未捕获处理，或是代码逻辑写错）。这种情况下，消费者会从12开始拉取所有消息，包括已经处理成功的13，自然会再次消费13的消息。

内容的提问来源于stack exchange，提问作者krishna_38