Kafka多分区场景下Listener线程数过高 能否限制最大并发线程数

1. 线程数问题确认 #

你当前的配置确实会产生150个活跃消费线程。
默认情况下，Spring Kafka 给每个独立配置的KafkaListener分配独立的单线程消费资源，150个独立的监听器就对应150个常驻的消费线程。

2. 限制最大线程数的可行方案 #

你可以通过以下两种常用方案把总消费线程数限制到20：

• 方案1：合并监听器，调整并发参数
  不需要给每个分区单独配置KafkaListener，你可以把所有50个Topic都配置到同一个监听器的监听列表中，同时设置concurrency参数为20即可。
  示例配置：

  @KafkaListener(topics = {"topic1","topic2",..."topic50"}, groupId = "your-consumer-group", concurrency = "20")
  

  配置后框架会自动将150个分区均匀分配给20个消费线程，每个线程负责多个分区的消费，总活跃消费线程固定为20。
• 方案2：配置全局共享消费线程池
  如果你的业务逻辑必须拆分多个独立的KafkaListener，可以自定义一个核心线程数、最大线程数均为20的线程池，再将这个线程池配置到ConcurrentKafkaListenerContainerFactory中，所有监听器都使用这个工厂生成实例，就能实现所有监听器共用同一个线程池，总线程数被限制在20以内。

注意：降低总线程数后，需要确认单线程的消费能力可以覆盖分配到的多个分区的流量，避免出现消费堆积。如果出现堆积优先优化消费逻辑的处理效率，再按需调整线程数上限。

内容的提问来源于stack exchange，提问作者Nihal