Kafka Java Consumer Client是否单线程？Spring监听器并发机制

背景与问题 #

我们刚开始接触Kafka，在阅读Confluent官方文档时，看到关于Kafka Java Consumer Client单线程模型的描述：

由于这种单线程模型，应用处理poll()调用返回的记录时无法发送心跳。若事件循环终止，或记录处理延迟导致会话超时在循环下一次迭代前到期，消费者会退出消费组。

基于这段内容，我们有两个疑问：

1. Kafka是否要求每个进程/JVM仅使用一个线程？
2. Spring如何实现监听器的并发？比如设置factory.setConcurrency(5)时，是否会为每个并发线程打开独立的TCP连接到Kafka服务器？

问题1解答：Kafka对进程/JVM的线程数量没有强制限制 #

• Kafka不要求每个进程/JVM只能使用一个线程。文档中提到的单线程模型，特指单个Kafka Consumer实例的核心工作流程（拉取消息、处理消息、发送心跳）是单线程串行执行的——也就是说，同一个Consumer实例不能在多个线程中调用poll()方法，否则会触发异常。
• 实际开发中，一个JVM进程内可以创建多个独立的Consumer实例，每个实例运行在专属线程中，这些实例既可以属于同一个消费组（共同分摊主题分区的消费任务），也可以归属不同的消费组。

问题2解答：Spring Kafka的并发实现与TCP连接情况 #

• Spring Kafka的concurrency参数，作用是创建对应数量的独立Kafka Consumer实例，每个实例会运行在单独的线程中。
• 每个Consumer实例都会与Kafka集群建立独立的TCP连接（包括与集群控制器、分区leader节点的连接）。因此当设置factory.setConcurrency(5)时，会生成5个独立的Consumer实例，对应5套独立的TCP连接。
• 这些同属一个消费组的Consumer实例，会由Kafka自动分配监听主题的分区，从而实现并发消费、提升处理效率的效果。

内容的提问来源于stack exchange，提问作者Sony Antony