未指定Key时Kafka的消息分发机制及跨分区顺序性问题

分区分发逻辑 #

当生产者发送消息未指定Key时，Kafka默认采用**轮询（Round-Robin）**策略将消息依次分发到各个可用分区。针对3个分区的场景，消息会按照分区0 → 分区1 → 分区2 → 分区0 → 分区1 → 分区2...的循环顺序分配。

另外，Kafka 2.4及以上版本默认开启了sticky.partitioning.enable参数，此时会优先将同一批次的消息发送到同一个分区，当该分区的消息批次满额或达到linger时间阈值后，再切换到下一个分区。这种"粘性分区"策略旨在提升生产吞吐量，但本质仍是在多个分区间轮询切换，只是调度单位从单条消息变成了整批消息。

消息顺序表现 #

• 全局顺序无法保证：消息被分散到3个独立分区后，Kafka仅保证单个分区内的消息顺序，不同分区的消息消费顺序由消费者线程调度决定，因此整个主题的全局消息顺序会被打乱。
• 单分区内顺序严格保留：无论采用轮询还是粘性分区策略，发送到同一分区的消息，其存储和消费顺序与生产者的发送顺序完全一致，不会出现乱序。

举个实际场景例子：若生产者按顺序发送M1、M2、M3、M4、M5、M6，轮询策略下会分配为：分区0(M1)、分区1(M2)、分区2(M3)、分区0(M4)、分区1(M5)、分区2(M6)。消费时，若消费者用3个线程分别对应3个分区，可能先获取到M2再拿到M1，全局顺序混乱，但每个分区内的M1→M4、M2→M5、M3→M6的顺序始终严格保留。

内容的提问来源于stack exchange，提问作者Dhruv Pal