Kafka消费者自动提交频率低于轮询：消息跟踪与重复处理疑问

自动提交完成前会重复处理消息吗？ #

正常运行状态下不会重复处理。当启用自动提交且间隔设为5秒，消费者每1秒消费一批消息时，每次消费完成后，消费者本地会更新已处理消息的offset，只是不会立刻把这个offset提交到Kafka broker。下一次调用poll()方法时，消费者会基于本地最新的offset去拉取新消息，不会重复拉取已经处理过的批次。

只有当消费者在两次自动提交之间崩溃或意外重启时，才会出现重复处理的情况——因为重启后，消费者会从Kafka broker上最后一次提交的offset位置开始消费，这期间已经处理但未提交的消息就会被重新拉取处理。

自动提交频率低于轮询频率时，消费者如何跟踪已处理消息？ #

核心是本地维护消费offset：

• 每次调用poll()拉取消息并处理完成后，消费者会在本地内存中更新当前的消费offset，这个更新是实时的，和自动提交频率无关。
• 自动提交的作用只是定期把本地最新的offset同步到Kafka broker，持久化这个位置，防止消费者故障时丢失进度。
• 后续的poll()操作始终基于本地的offset来拉取消息，所以只要消费者正常运行，就不会重复处理已经消费过的消息。

内容的提问来源于stack exchange，提问作者NorwegianClassic