监听多主题的KafkaListener行为问题咨询

问题1：一次poll操作或onNewConsumerRecords方法执行期间，records变量会包含两个主题的记录还是仅单个主题的记录？ #

• 答案：会包含两个主题的记录。Kafka消费者的poll操作会拉取所有分配给当前消费者线程的分区消息，不管这些分区属于哪个主题。只要你的监听器同时订阅了这两个主题，且它们的分区被分配给了当前线程，一次poll返回的记录列表就会混合来自两个主题的消息，最终全部传入records变量。

问题2：默认的主题分配策略是什么？若采用range策略且并发数设为4，当主题的分区数不同时，是否会出现部分线程空闲或利用率不足的情况？ #

• 默认分配策略：Spring Kafka默认沿用Kafka客户端的分配策略。在Kafka 2.4及以上版本中，客户端默认使用CooperativeStickyAssignor（协作粘性分配器）；更早版本则默认是RangeAssignor（范围分配器）。若未在配置中显式指定partition.assignment.strategy，就会遵循这个默认逻辑。

• Range策略下的并发问题：会出现部分线程空闲或利用率不足的情况。Range策略是按单个主题维度分配分区：先对每个主题的分区排序，再尽可能平均地分配给消费者线程。举个实际场景：

  • 假设有两个主题：Topic1有3个分区，Topic2有5个分区，并发数设为4（即4个消费者线程）。
  • Topic1的3个分区会分给前3个线程，每个线程1个分区，第4个线程完全没分到Topic1的分区；
  • Topic2的5个分区拆分后，前2个线程各分到2个分区，后2个线程各分到1个分区。
  • 如果Topic1消息量极大、Topic2消息极少，第4个线程就只能处理Topic2的少量消息，大部分时间处于空闲；反之若Topic2消息多、Topic1少，前3个线程处理Topic1的部分也会出现利用率不足的情况。

内容的提问来源于stack exchange，提问作者Deibys