Kafka单消费者消费三分区消息的策略:并行还是逐个处理?
单个Kafka消费者消费多分区主题的策略
当仅有1个消费者订阅包含3个分区的Kafka主题时:
- 该消费者会被分配到该主题的全部3个分区(Kafka的分区分配机制会把所有未被其他消费者认领的分区都分配给这个唯一的消费者)。
- 默认消费逻辑下,消费者是单线程串行处理消息:它会从各个分区批量拉取消息,但消息的处理过程是逐个依次进行的——处理完一条消息后才会处理下一条,无论这条消息来自哪个分区。
- 若要实现不同分区消息的并行处理,需要在消费者内部自行编写多线程处理逻辑(例如为每个分区分配独立的处理线程),这并非Kafka消费者客户端的默认行为。
内容的提问来源于stack exchange,提问作者Kanifnath Dongare
相关产品推荐
相关产品推荐

