Kafka 3.4.0中Free Consumers分配同一主题分区的行为及消息接收问题

背景说明 #

Free Consumers是未设置group.id的Kafka消费者，它们不通过订阅主题的方式获取分区，而是直接被分配指定的主题分区。

用户问题 #

当多个Free Consumers被分配至同一主题分区（auto.offset.reset设为earliest）时，其行为表现如何？重启前所有Free Consumers是否均可接收所有消息？

• Kafka客户端版本：3.4.0

解答 #

1. 核心行为表现

   • 所有Free Consumers彼此完全独立，Kafka不会对它们进行消费组协调（因无group.id，不属于任何消费组），不存在分区负载均衡或消息分发限制。
   • 由于auto.offset.reset=earliest，每个Free Consumer启动后，都会从该分区的最起始位置开始拉取消息。
   • 重启前，所有Free Consumers都能接收到该分区的全部消息——每个消费者各自维护独立的消费偏移量，不会互相干扰，也不会像消费组那样拆分消息，每个都能完整拉取分区内的所有消息。

2. 补充细节

   • 这类消费者的偏移量默认仅在本地维护，不会提交到Kafka的__consumer_offsets主题；如果未配置外部偏移量存储，重启后会再次从earliest位置开始拉取，导致重复消费历史消息。

内容的提问来源于stack exchange，提问作者tuk