Auto Commit为False时Kafka Consumer消息重发及特定场景行为咨询

核心结论 #

后续消费者（无论当前实例是否重启/发生重平衡）都不会收到51-100条消息，原因在于Kafka消费者偏移量的存储规则和你提交的偏移量逻辑。

详细分析 #

1. Kafka偏移量的核心规则 #

Kafka为每个消费组的每个分区维护一个已提交偏移量，这个值代表：消费组已经成功消费到该偏移量之前的所有消息，下次拉取会从该偏移量开始（注意：偏移量指向的是下一条要消费的消息，而非最后一条已消费的消息）。

关键特性：

• 每次提交偏移量时，如果新提交的值大于当前已提交偏移量，Kafka会直接覆盖旧值，不会保留中间未提交的偏移量记录。
• 消费者本地会维护一个拉取位置（未提交的偏移量），只要未发生重启/重平衡，会基于这个本地位置继续拉取后续消息，不会回头拉取之前已拉取但未提交的消息。

2. 你的场景拆解 #

结合你的操作步骤：

1. 拉取0-99（共100条）消息，处理并提交前50条（提交的偏移量为50，代表已消费完0-49）；
2. 拉取100-199（101-200条）消息，处理完成后提交偏移量200（代表已消费完0-199）；

此时：

• Kafka集群中该分区的已提交偏移量会被更新为200，覆盖之前的50；
• 如果当前消费者实例继续运行，本地拉取位置已经到200，不会再拉取50-99（51-100条）消息；
• 如果消费者重启或发生重平衡，新实例会从已提交的偏移量200开始拉取，同样不会处理50-99的消息。

3. 结合你的代码逻辑 #

你的Spring Kafka配置和代码存在的关键点：

• 开启了MANUAL Ack模式，手动通过consumer.commitSync(offsetAndMetadataMap)提交偏移量，偏移量完全由processMessage的返回值控制；
• 如果processMessage在处理101-200条消息时，返回的偏移量直接跳到200，就会导致中间51-100条消息的偏移量从未被提交，且被后续的提交覆盖，最终丢失。

风险提示与建议 #

如果你的业务需要确保未成功处理的消息必须被重新消费，绝对不能跳过中间未处理的消息直接提交后续偏移量。正确的做法是：

• 仅提交当前已成功处理的最大偏移量（比如处理完前50条就提交50，51-100处理失败则不提交更高的偏移量）；
• 后续拉取时，Kafka会基于已提交的50，重新拉取50-99（51-100条）消息进行处理。

内容的提问来源于stack exchange，提问作者Rajshekar