Kafka及Kstream应用消费者组数量代码控制与实例消费数问询

1. 能否通过代码控制Kafka消费者组内的消费者数量？ #

可以。消费组内的消费者数量由代码中启动/关闭的KafkaConsumer实例数量决定：

• 可根据业务逻辑（如负载变化、定时规则）动态创建KafkaConsumer实例并指定同一消费组ID，以此增加消费者数量；
• 也可主动调用消费者的close()方法关闭实例，减少消费组内的消费者数量。
  注意：同一消费组内的消费者数量不能超过对应Topic的分区数，否则多余的消费者会处于空闲状态，无法分配到任何分区。

2. 能否通过代码控制Kstream应用中消费者组内的消费者数量？ #

可以，但Kafka Streams的消费者数量与应用线程数直接绑定：

• 每个Streams线程对应一个消费者实例，你可以在代码中通过StreamsConfig设置NUM_STREAM_THREADS_CONFIG参数指定线程数，间接控制消费组内的消费者数量；
• Kafka Streams框架会自动管理消费者的生命周期，无需手动创建或关闭KafkaConsumer实例。
  注意：同样需遵循消费者数不超过Topic分区数的规则，多余线程对应的消费者会处于空闲状态。

3. 应用部署8个实例，每个实例20个线程，Topic分区数480，消费组会创建多少个消费者？ #

总消费者数量为8×20=160个：

• 不管是普通消费者应用还是Kafka Streams应用，只要每个线程对应一个加入同一消费组的消费者实例，总数量就是160；
• 由于Topic分区数480大于消费者数160，所有160个消费者都会分配到分区（平均每个消费者分配3个分区：480÷160=3），不会出现空闲消费者。

内容的提问来源于stack exchange，提问作者Rajiv Singh