Spring Boot中Kafka监听器concurrency参数设置疑问

1. 多实例同组+concurrency=1是否能确保单线程单监听器消费？ #

不能，除非你的topic只有1个分区。原因如下：

• Kafka的消费者组规则是：同一个分区的消息只会被组内的一个消费者（线程）消费，但多个分区可以分配给不同的消费者。
• 你设置的concurrency="1"是指每个应用实例会为这个@KafkaListener启动1个消费者线程。当K8s部署多个同组实例时，Kafka会把topic的分区均匀分配给组内所有的消费者线程（每个实例1个线程，总线程数等于实例数）。
• 举个例子：如果topic有3个分区，你部署了2个实例，那么其中一个实例会分到2个分区，另一个分到1个分区，两个实例各自用单线程消费自己的分区，整体是多线程消费状态。只有当topic分区数≤1时，才会始终只有一个实例的单线程消费所有消息。

2. concurrency参数是配置在Kafka端还是应用端？ #

concurrency是Spring Kafka框架的应用端配置，和Kafka集群本身无关：

• 它的作用是控制单个@KafkaListener注解对应的消费者线程数量，每个线程都会作为独立的Kafka消费者客户端加入指定的消费者组。
• Kafka集群只感知到消费者组里的各个消费者线程，不会关心这些线程是来自同一个应用实例还是不同实例。

3. 已有实例消费时，新实例是否会被阻止读取消息？ #

不会阻止，新实例加入消费者组后会触发再平衡操作：

• Kafka会暂停组内所有消费者的消费，然后重新计算分区分配方案，将topic的分区重新分配给组内所有消费者（包括新加入的实例）。
• 分配完成后，所有消费者（旧实例和新实例）都会开始消费自己分到的分区，不会出现新实例被完全阻止的情况。

内容的提问来源于stack exchange，提问作者Sethiel