Kafka重平衡期间是否保留消息顺序？业务场景技术问询

核心结论 #

Kafka不会自动等待已被polled但尚未完成处理或提交的消息，就会执行分区重分配操作。

具体细节 #

• 当重平衡触发（节点故障、消费者增减等场景），旧消费者会立即失去对应分区的所有权，不管它当前是否还有正在处理的消息。
• 如果旧消费者没有在失去分区前提交已处理完成的消息offset，新消费者接手分区后，会从最后一次成功提交的offset位置开始消费。这就可能出现：旧消费者还在处理之前poll到的消息，而新消费者已经开始消费该分区后续的消息，最终导致同一客户的消息顺序被打乱。
• 补充：同一key的消息确实会被路由到同一分区，Kafka本身保证分区内的消息顺序，但消费者端的处理、提交时机问题，才是导致你看到的顺序混乱的关键诱因。

解决建议 #

• 实现onPartitionsRevoked回调函数，在分区被收回前，仅提交已处理完成的消息的offset，不要提交poll到但未处理的消息offset。
• 单线程消费者必须保证：处理完一批消息后再提交offset，禁止异步提交或提前提交。
• 合理配置max.poll.records参数，控制每次poll拉取的消息数量，避免一次拉取过多导致重平衡时积压大量未处理消息。

内容的提问来源于stack exchange，提问作者ItIsJustMe