禁用自动提交后Kafka Consumer poll()未读取相同批次的问题咨询

首先直接给你结论：你的假设不正确，即使禁用了自动提交，连续调用poll(0l)也不会重复获取相同的ConsumerRecords，这是由Kafka Consumer内部的偏移量跟踪机制决定的。

核心误区：混淆了「提交的偏移量」和「内部维护的消费位置」 #

很多人会误以为，只要没提交偏移量，consumer就会一直从同一个位置拉取数据，但实际上Kafka Consumer维护了两个关键的偏移量相关概念：

• 提交的偏移量：这是持久化到Kafka broker（或本地，取决于配置）的偏移量，用于在consumer重启、重平衡时恢复消费位置。禁用自动提交后，这个偏移量不会自动更新，除非你手动调用commitSync()/commitAsync()。
• 内部消费位置：这是consumer在内存中实时维护的当前消费到的位置，每次调用poll()成功获取到记录后，不管有没有提交偏移量，consumer都会自动更新这个内部位置，指向下一批要拉取的记录的起始偏移量。

你的代码场景具体分析 #

在你的配置里，虽然禁用了自动提交，当你调用：

ConsumerRecords firstBatch = consumer.poll(0l);

之后，consumer已经在内存里把内部消费位置更新到了firstBatch中最后一条记录的偏移量 + 1。所以当你再次调用：

ConsumerRecords secondBatch = consumer.poll(0l);

consumer会从这个更新后的位置去拉取数据，自然拿到的是下一批记录，而不是重复的firstBatch。

什么时候才会重复拉取相同记录？ #

只有当consumer实例重启，或者发生重平衡时，因为没有提交偏移量，consumer会根据auto.offset.reset的配置（比如earliest或latest）来决定从哪里开始消费，这时候才可能重新拉取之前已经消费过但没提交的记录。但在同一个consumer实例的连续poll调用中，不会出现重复拉取的情况。

内容的提问来源于stack exchange，提问作者Pablo Cavalieri