应用重启后Kafka Consumer无法消费消息问题求助
Kafka多分区消费重启后停止消费问题求助
依赖配置
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.4.0</version> </dependency>
问题现象
- 我有一个Java编写的Kafka消费者应用,应用重启后便停止消费Topic消息,仅在poll超时后返回空结果
- 更换Consumer Group并重启应用,消息可正常消费直到下一次重启
- 目标Topic有10个分区,查看Consumer Group状态时,有数据的分区显示存在滞后量
- 将Topic重建为单分区后,应用重启后消费完全正常
- 曾参考过KAFKA-8950相关问题,已将kafka-client升级至最新版本,但问题仍存在
消费者核心配置(其余为默认)
group.id: group-1 fetch.min.bytes: 1 fetch.max.wait.ms: 60000 max.poll.records: 1 max.poll.interval.ms: 120000 auto.offset.reset: earliest enable.auto.commit: false
相关日志信息
Setting offset for partition rawData-tp-3 to the committed offset FetchPosition{offset=6, offsetEpoch=Optional[0], currentLeader=LeaderAndEpoch{leader=Optional[wn3.b3fteyj4w3xuzpvo3wsrfzzila.ax.internal:9092 (id: 1002 rack: /rack0)], epoch=0}}
有人遇到过类似问题吗?
内容的提问来源于stack exchange,提问作者vmaroli
相关产品推荐
相关产品推荐

