如何重置offset以重新读取Kafka主题，实现同groupId消费者重平衡后从头消费

结论 #

可以实现该需求，核心是重置对应消费者组在主题所有分区的消费位移到起始位置，配合正确的操作时机即可。

实现逻辑 #

Kafka 同一消费者组下的分区为互斥分配：重平衡完成后每个消费者只会拿到分配给自己的若干分区，不存在多个同组消费者消费同一个分区的情况。因此只要将整个消费者组的所有分区offset重置为最早位置，两个消费者就会从各自负责分区的起始位置开始读取，整体实现整个主题从起始位置消费的效果。

推荐操作步骤 #

方式一：重置位移后再启动消费者触发重平衡 #

• 先停止当前运行的Consumer1
• 使用Kafka官方工具脚本kafka-consumer-groups.sh执行位移重置，命令示例：

  kafka-consumer-groups.sh --bootstrap-server <Kafka集群地址> --group <你的消费者组ID> --reset-offsets --to-earliest --topic <目标主题名> --execute
  

• 同时启动Consumer1和Consumer2，触发重平衡后两个消费者会直接拉取分配到分区的最早offset开始消费

方式二：重平衡完成后再执行位移重置 #

• 先接入Consumer2，等待重平衡流程完全结束、消费者组状态变为Stable
• 执行上述的位移重置命令
• 重启两个消费者拉取最新的offset即可生效

注意事项 #

• 禁止在重平衡过程中执行位移重置：此时消费者组处于PreparingRebalance/CompletingRebalance状态，重置操作会直接失败
• 如果消费者开启了自动offset提交，重置位移后需要确保消费者不会立刻提交当前消费位置，否则重置操作会失效
• 同组消费者不会重复消费同一条消息，两个消费者会分别读取不同分区的内容，不会出现数据重复处理的问题

内容的提问来源于stack exchange，提问作者drugzverya