更换Kafka消费者groupId后未从Offset 0消费，求解答

你遇到的核心问题是：新创建的消费者组my_group_2没有从Offset 0开始消费，反而复用了旧组my_group的偏移量，这大概率是因为以下某个配置细节被忽略了：

1. 消费者配置了重复的group.instance.id #

Kafka的group.instance.id是用来标识消费者实例的唯一ID，一旦设置了这个参数：

• 即使你修改了groupId，只要group.instance.id和旧组的实例ID相同，Kafka会认为这是同一个消费者实例，直接复用之前关联的偏移量。
• 这个配置在Spring Kafka中对应的参数是spring.kafka.consumer.group-instance-id，原生Kafka消费者配置中则是group.instance.id。

解决方法：

• 直接移除group.instance.id配置（无需固定实例ID的场景）；
• 为新的my_group_2配置一个全新的group.instance.id，确保和旧组的实例ID完全不重复。

2. auto.offset.reset配置未设置为earliest #

当新消费者组在Kafka集群中没有任何偏移量记录时，Kafka会根据auto.offset.reset的配置决定起始消费位置：

• 默认值是latest：从topic的最新偏移量开始消费；
• 只有设置为earliest，才会从最开始（Offset 0）消费。

你误以为新组会自动从Offset 0开始，其实是忽略了这个默认配置规则。

解决方法：

• 在Spring配置文件中全局设置：

  spring.kafka.consumer.auto-offset-reset=earliest
  

• 或者在@KafkaListener注解中单独指定该配置：

  @KafkaListener(topics = "my_topic", groupId = "my_group_2", properties = {"auto.offset.reset=earliest"})
  void processReferralEvents(String message) {
      log.info("message received: [{}]", message);
  }
  

3. 补充：重置偏移量命令的修正 #

你之前的重置偏移量命令存在语法错误，正确的命令需要加上--topic指定目标topic，且-group应为--group：

kafka-consumer-groups.sh --bootstrap-server xxx:9094 --command-config ./xxx --execute --reset-offsets --group my_group --to-earliest --topic my_topic

内容的提问来源于stack exchange，提问作者dpaine