为何Kafka Consumer会出现OFFSET_NOT_AVAILABLE错误?
Kafka消费者组偶尔出现
OFFSET_NOT_AVAILABLE错误的原因 偏移量元数据同步延迟:消费者组协调器在同步偏移量元数据时,可能因网络波动、集群临时负载过高出现短暂延迟,导致消费者拉取消息时找不到对应的偏移量记录,等元数据同步完成后,错误会自行消失。
分区重分配后的短暂不一致:当消费者组发生分区重分配(比如有消费者加入或退出),新接管分区的消费者还没来得及从协调器获取该分区的最新偏移量,首次拉取时就会触发这个错误,后续重试就能拿到正确的偏移量,错误不再出现。
偏移量过期被清理:如果Kafka集群配置了偏移量保留时间(
offsets.retention.minutes),当某个分区长时间无消费者消费,偏移量可能被自动清理。当消费者重新开始消费该分区时,会短暂出现此错误,之后消费者会自动切换到最早或最新偏移量开始消费,问题解决。副本同步滞后:分区的副本若存在短暂同步滞后,消费者尝试从滞后副本拉取消息时,可能找不到对应的偏移量,等副本同步完成后,错误就会自行消失。
内容的提问来源于stack exchange,提问作者Karim Tawfik
相关产品推荐
相关产品推荐

