Spring Boot Kafka消费者无法打印历史消息仅能消费新消息问题咨询

这个现象属于Kafka的默认正常行为，不是你的代码配置存在问题，核心和消费者组的偏移量（offset）提交与读取规则有关：

• Kafka会为每个消费者组持久化存储其在每个Topic分区下的消费偏移量，消费者组下次启动时默认会从上次提交的偏移量位置开始拉取消息，不会回溯之前的历史消息
• 你当前使用的消费者组group_id6之前已经成功连接过Kafka并消费过数据，Kafka已经记录了该组的最新偏移量，所以启动后只会消费偏移量之后新发送的消息，之前的历史消息自然不会被打印

方案1：新增偏移量重置配置（适合全新消费者组） #

在KafkaConfig.java的消费者配置中添加auto.offset.reset参数，将其值设为earliest，该参数的作用是当Kafka中没有对应消费者组的偏移量记录时，消费者会从Topic最开始的历史消息处开始消费：

// 加到consumerFactory的config Map中即可
config.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

注意：如果你的消费者组group_id6已经有偏移量记录，添加该配置不会生效，需要配合后续方案使用

方案2：更换消费者组ID #

直接修改代码里的消费者组ID（比如改为group_id7），配合上面的earliest配置，该新消费者组首次启动时就会从头消费所有历史消息。

方案3：手动重置已有消费者组的偏移量 #

如果不想更换消费者组ID，可以用Kafka自带的命令行工具手动重置group_id6的偏移量到最开始的位置：

kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group group_id6 --reset-offsets --to-earliest --topic test --execute

执行完命令后再启动应用，就能消费到所有历史消息了。

如果你的test Topic留存的历史消息量级很大，开启从头消费前需要评估消费速度、服务器性能，避免消费时给服务带来过大压力。

内容的提问来源于stack exchange，提问作者Diluted Dev