Spring Kafka消费者能否编程实现运行时动态分配分区？

解答 #

你要实现的运行时动态分配、解绑Kafka分区的需求，完全可以基于Spring Kafka提供的原生能力实现，你当前的实现思路是正确的。

关于你观察到的被框架吞噬的WakeupException，属于正常预期行为，无需额外处理：
Spring Kafka的消息监听容器执行stop()操作时，为了中断消费者线程正在阻塞的poll()调用，会主动调用底层Kafka Consumer的wakeup()方法，Kafka客户端收到唤醒信号后就会抛出WakeupException。框架内部的ListenerConsumer组件已经默认捕获并处理了这个异常，仅用来触发消费者的优雅停止逻辑，不会向上抛到业务层，也不会影响服务稳定性。

针对你的实现，可以补充几个可选优化点：

• 你当前每次调整分区都销毁旧容器、创建新容器的逻辑完全可以满足业务需求，如果想要更低的分区切换开销，也可以直接获取容器绑定的KafkaConsumer实例，手动调用assign()、seekToEnd()方法调整监听分区，不需要重建整个容器。
• 你使用随机groupId的做法适配你的业务场景：因为你每次绑定分区都要求直接从最新偏移量开始消费，不需要复用之前的消费位点，也不需要消费者组的重平衡能力，随机生成groupId可以避免不同实例的消费者组冲突。
• 你配置的@KafkaListener(autoStartup = "false")是合理的，因为你完全通过自定义的Manager组件管理消费者生命周期，原生@KafkaListener对应的容器不需要自动启动。

内容的提问来源于stack exchange，提问作者Mark Bramnik