Kafka并发消费者分区分配异常：同Key事件多容器处理疑问

核心问题拆解 #

你遇到的多个listener容器处理同Key事件的情况，本质不是Kafka默认按Key分区的规则失效，而是同Key事件存在于不同主题的分区中，且你的消费者同时订阅了这些主题，导致不同分区被分配给了不同的并发消费者实例。

原因详解 #

1. 跨主题的Key分布：你提到该Key出现在两个分属新旧主题的分区，Kafka的同Key必进同分区规则仅针对同一个主题生效。当Key从旧主题切换到新主题后，新主题的分区计算是独立的，自然会出现在不同分区；而如果消费者同时订阅了新旧主题，这两个分属不同主题的同Key分区会被分配给不同的并发消费者。
2. 并发消费者的分区分配逻辑：通过ConcurrentKafkaListenerContainerFactory设置concurrency后，Spring Kafka会创建多个独立的消费者实例（同属一个消费者组）。Kafka默认的分区分配策略（如Range、RoundRobin）会将所有订阅主题的分区均匀分配给组内消费者，因此不同主题的同Key分区会被分到不同的listener容器中。

解决方案 #

1. 收缩消费者订阅范围：检查你的@KafkaListener注解，确保只订阅当前业务使用的新主题，停止订阅旧主题，避免读取到遗留的同Key事件。
2. 清理旧主题数据：如果旧主题仍需保留但不再使用，清理其中该Key的所有遗留事件，防止消费者读取到跨分区的同Key数据。
3. 验证生产端分区策略：如果确认是同一主题内出现同Key跨分区，检查生产端是否手动指定了分区，或者修改了默认的DefaultPartitioner分区策略（默认按Key哈希计算分区）。

关于ConsumerRebalanceListener的疑问 #

你完全不需要手动实现这个监听器，因为：

• Kafka默认的分区分配逻辑已经能保证同一主题内的同Key分区被分配给同一个消费者实例，满足顺序处理需求。
• ConsumerRebalanceListener仅用于自定义分区分配规则（比如强制特定分区绑定到特定消费者），或者在重平衡发生时做额外处理（如提交偏移量、释放资源），你的场景完全用不上。

内容的提问来源于stack exchange，提问作者owen gerig