多实例下Kafka Consumer并发设置:将创建多少个消费者?
Kafka容器并发数与消费者数量的关系
- 结论:会创建4×6=24个消费者
- 具体解释:
容器并发数(对应配置项concurrency)的作用是在单个应用实例内,为当前Kafka监听器启动对应数量的独立消费者。这些消费者都会使用你指定的同一个消费者组ID加入Kafka消费者组。
当你有4个相同配置的应用实例时,每个实例都会启动6个消费者,因此整个消费者组的总消费者数量就是4×6=24个。 - 注意事项:
Kafka消费者组的消费者数量不能超过订阅主题的总分区数,超出的消费者会处于空闲状态,无法分配到任何分区,也就不会处理消息。比如如果订阅的主题只有10个分区,那24个消费者里只有10个能正常工作,剩下14个会一直闲置。
内容的提问来源于stack exchange,提问作者Avinash Babu
相关产品推荐
相关产品推荐

