Spring Kafka中setConsumerTaskExecutor与setConcurrency的区别及参数差异影响

1. setConsumerTaskExecutor()和setConcurrency()的区别 #

• setConcurrency()：参数值定义了Spring Kafka为单个监听容器创建的消费者实例的最大数量。每个消费者实例对应独立的消费任务，会自动分摊订阅主题的分区，实际生效的实例数不会超过订阅主题的总分区数。
• setConsumerTaskExecutor()：用于指定承载所有消费任务的线程池。所有消费者实例的运行任务都将提交到该线程池调度执行，自定义线程池可实现消费线程命名、拒绝策略配置、空闲回收规则定制等能力，不配置时Spring Kafka会默认创建专属守护线程池。

2. 线程池maxPoolSize与setConcurrency()数值不一致的影响 #

结合你给出的配置代码：

ThreadPoolTaskExecutor customExecutor= new ThreadPoolTaskExecutor();
exec.setCorePoolSize(3);
exec.setMaxPoolSize(6);

ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<String, String>();

factory.setConcurrency(10);
factory.getContainerProperties().setConsumerTaskExecutor(customExecutor);

运行表现如下：

• Spring Kafka会按setConcurrency(10)的配置生成10个消费者运行任务，提交到自定义线程池
• 自定义线程池最大线程数仅为6，因此最多同时运行6个消费者实例，剩余4个任务会进入线程池等待队列
• ThreadPoolTaskExecutor默认使用无界阻塞队列，因此剩余4个消费任务会永久堆积在队列中，永远不会被执行，最终实际消费并发度为6，远低于配置预期。

如果出现线程池maxPoolSize大于concurrency的场景，仅会按concurrency的数值提交对应数量的消费任务，线程池剩余空闲线程不会被消费逻辑使用，造成线程资源浪费。

最佳实践：自定义ConsumerTaskExecutor时，建议将线程池的核心线程数、最大线程数均设置为和concurrency数值一致，同时将队列容量设置为0，避免消费任务堆积或资源浪费。

内容的提问来源于stack exchange，提问作者vuhoanghiep1993