Kafka批量监听器多主题下并发线程分配及性能影响咨询

线程分配逻辑 #

• concurrency=30指定的是消费者线程的总数量，而非每个主题的线程数。这些线程会共同订阅topic1和topic2两个主题，线程会根据两个主题的总分区数进行分配，而非在主题间平均拆分。
• Kafka默认的分区分配策略（RangeAssignor）会将所有订阅主题的分区合并后，尽量均匀分配给30个线程，典型场景示例：
  • 若topic1和topic2各有30个分区：每个线程会分到1个topic1分区 + 1个topic2分区。
  • 若topic1有20个分区，topic2有10个分区：部分线程会分到1个topic1分区 + 1个topic2分区，剩余线程会分到2个topic1分区。
  • 若两个主题总分区数小于30：会有部分线程处于空闲状态，但只要有分区需要处理，原本仅处理topic1的线程就会被分流处理topic2。

对topic1的性能影响 #

• 必然会产生影响。原本30个线程全部专注于topic1的消息处理，现在线程需要同时处理topic2的消息，每个线程的负载会提升。
• 如果topic2消息量较大，会占用大量线程的处理资源，直接导致topic1的消息处理延迟升高；如果topic2消息量较小，影响相对有限，但仍存在CPU、内存等资源的竞争。
• 即便topic1的分区数较多，线程分流后单个线程处理的topic1分区数不变，但因为要额外处理topic2的分区，整体处理效率还是会下降。

内容的提问来源于stack exchange，提问作者Icarus