如何按照给定顺序消费Kafka多Topic的消息数据

核心结论 #

Kafka原生消费逻辑没办法开箱直接实现你描述的「严格按照topic-2 > topic-3 > topic-1的顺序，等单个主题所有消息消费完，再切去下一个主题循环消费」的需求。

Kafka消费者从设计之初就是为多主题并行消费做的优化，本身没有内置跨主题的消费优先级、顺序切换的调度能力：

• 只要消费者同时订阅多个主题，poll()方法就会统一调度拉取所有已分配分区的可用消息，根本不会按照你指定的主题顺序，阻塞着等某个主题的消息全消费完再动另一个主题。
• 哪怕你在初始化订阅的时候把主题列表按顺序排好，客户端也不会把这个顺序当成消费执行的优先级，跨主题的拉取调度本质是并行执行的。

基于原生能力可实现的近似改造方案 #

如果完全不引入外部调度组件，只靠Kafka原生客户端的能力实现流程，可以给消费者加一个手动控制的状态机，切换订阅状态：

1. 初始化消费者时关闭自动位移提交，改为手动提交位点。
2. 按照目标消费顺序维护一个轮转的主题列表：[topic-2, topic-3, topic-1]。
3. 每个时刻只订阅列表里排在当前位的那一个主题，循环执行poll()拉取消息，直到检测到当前主题下所有已分配的分区都消费到最新日志末端（连续两次poll返回空记录、且当前提交位点和对应分区的LEO位置一致），就判定当前主题的存量消息消费完成。
4. 完成当前主题消费后，调用unsubscribe()清空现有订阅关系，切到列表里的下一个主题，重复上面的消费判断流程。
5. 三个主题都走完一轮消费流程后，回到第一步重新从topic-2开始轮转，让流程持续运行。

这套原生方案躲不开的固有问题 #

所有完全依托Kafka原生能力搞出来的顺序消费方案，都有几个没法绕开的硬限制：

• 每次切换订阅的时候，消费者组都会触发原生的再平衡流程，这个过程是客户端内置的逻辑，没有办法跳过，会带来数秒到数十秒的消费停顿。
• 根本不存在100%绝对严格的“当前主题全部消费完成”的判定：因为生产端随时可以往任意主题写新消息，你刚判定当前主题消费完的瞬间，完全可能有新消息刚好写进来，原生机制不会给你提供一个“全集群无新写入”的一致性快照，最多只能做到“消费到你判定时刻之前的最新位点”的近似效果。
• 单主题挨个消费的模式，会完全牺牲多主题并行消费的吞吐能力，整体消费延迟会比常规的多主题并行消费高一大截。

内容的提问来源于stack exchange，提问作者Steave Jones