Kafka多分区未在多消费者间分配的问题排查求助
Kafka分区消费不均排查求助
我在Linux环境部署了Kafka集群,已在server.properties中设置默认分区数为5,同时将使用的topic1的分区数也配置为5。目前有5个基于Java实现的消费者订阅该topic,预期5个分区会将流量平均分配给5个消费者,但实际Linux环境中所有流量始终仅流向1个消费者。Windows环境搭建的相同配置(5分区+5消费者)测试环境中,5个消费者能平均接收数据。
已执行的排查操作
- 确认topic级别及
server.properties中的分区数均为5; - 执行命令验证
topic1的分区情况:
kafka-topics.sh --zookeeper localhost:2181 --describe --topic topic1 Topic: topic1 TopicId: 4kX9oP3ARA2uHQ1_nVGY-Q PartitionCount: 5 ReplicationFactor: 1 Configs: Topic: topic1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0 Topic: topic1 Partition: 1 Leader: none Replicas: 1 Isr: 1 Topic: topic1 Partition: 2 Leader: none Replicas: 2 Isr: 2 Topic: topic1 Partition: 3 Leader: none Replicas: 3 Isr: 3 Topic: topic1 Partition: 4 Leader: none Replicas: 4 Isr: 4
求助问题
- 如何排查Linux环境下流量仅流向单个消费者的问题?
- 是否可通过命令行或Kafka日志查看测试运行时实际使用的分区数?
kafka-topics describe显示5个分区是否代表测试时确实会使用全部分区?
备注:当前正进行压力测试,有超100个用户发送数据。
内容的提问来源于stack exchange,提问作者Omi
相关产品推荐
相关产品推荐

