You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Kafka多分区未在多消费者间分配的问题排查求助

Kafka分区消费不均排查求助

我在Linux环境部署了Kafka集群,已在server.properties中设置默认分区数为5,同时将使用的topic1的分区数也配置为5。目前有5个基于Java实现的消费者订阅该topic,预期5个分区会将流量平均分配给5个消费者,但实际Linux环境中所有流量始终仅流向1个消费者。Windows环境搭建的相同配置(5分区+5消费者)测试环境中,5个消费者能平均接收数据。

已执行的排查操作

  • 确认topic级别及server.properties中的分区数均为5;
  • 执行命令验证topic1的分区情况:
kafka-topics.sh --zookeeper localhost:2181 --describe --topic topic1
Topic: topic1       TopicId: 4kX9oP3ARA2uHQ1_nVGY-Q PartitionCount: 5       ReplicationFactor: 1    Configs: 
Topic: topic1       Partition: 0    Leader: 0       Replicas: 0     Isr: 0 
Topic: topic1       Partition: 1    Leader: none    Replicas: 1     Isr: 1 
Topic: topic1       Partition: 2    Leader: none    Replicas: 2     Isr: 2 
Topic: topic1       Partition: 3    Leader: none    Replicas: 3     Isr: 3 
Topic: topic1       Partition: 4    Leader: none    Replicas: 4     Isr: 4

求助问题

  1. 如何排查Linux环境下流量仅流向单个消费者的问题?
  2. 是否可通过命令行或Kafka日志查看测试运行时实际使用的分区数?
  3. kafka-topics describe显示5个分区是否代表测试时确实会使用全部分区?

备注:当前正进行压力测试,有超100个用户发送数据。


内容的提问来源于stack exchange,提问作者Omi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.09 05:20:29