关于Kafka auto-offset-reset及偏移量过期场景的理解确认
Kafka偏移量过期场景的理解确认
你的理解完全正确,具体时间线和逻辑拆解如下:
- 生产者生产消息1、2后,配置
auto-offset-reset=latest的消费者完成消费并提交偏移量,此时提交的偏移量指向消息2的下一个待消费位置;之后6天无操作,此时偏移量仍在默认7天的有效期内。 - 消费者崩溃后,生产者生产消息3,之后又间隔2天无操作。从首次提交偏移量到此时,总时长为6+2=8天,已超过默认7天的偏移量过期时间,之前提交的偏移量被Kafka清理。
- 消费者重启时,由于无法找到有效的已提交偏移量,触发
auto-offset-reset=latest配置,直接从当前分区的最新消息位置(即消息3之后的位置)开始消费,因此不会读取到消息3。
内容的提问来源于stack exchange,提问作者JavaQuestioner123
相关产品推荐
相关产品推荐

