Kafka分区Topic多消费者异常：启动第二个消费者无响应

咱们先梳理下你遇到的两个核心问题：一是同Group ID的第二个消费者启动后长时间收不到消息，二是无多分区时同Group的消费者会收到重复消息，结合你的操作和配置，一步步来排查解决：

一、先修正消费者配置里的明显错误 #

看你贴的消费者代码，发现几个不符合消费者配置规范的点：

• 消费者不需要serializer.class，这是生产者用来序列化消息的配置，消费者应该用deserializer.class（比如对应你生产者的kafka.serializer.StringDecoder），多余的生产者配置可能干扰消费者初始化；
• 消费者配置里重复加了broker.list和metadata.broker.list，旧版消费者（ConsumerConnector）核心依赖ZK来管理Group和消费偏移，只需要配置zookeeper.connect即可，多余的Broker配置可能导致冲突。

修正后的消费者核心配置示例：

props = new Properties();
// 核心：连接ZK，消费者依赖ZK协调Group和分区分配
props.put("zookeeper.connect", "localhost:2181");
// 必须确保两个消费者的group.id完全一致
props.put("group.id", groupId);
// 对应生产者的StringEncoder，配置反序列化类
props.put("deserializer.class", "kafka.serializer.StringDecoder");
// 自动提交偏移配置（按需调整）
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
// 偏移重置策略：如果没有历史偏移，从最开始消费（可选latest）
props.put("auto.offset.reset", "earliest");

二、分析第二个消费者收不到消息的原因 #

你创建了3分区的Topic，同Group ID下最多支持3个消费者同时消费（每个消费者分配至少1个分区），现在第二个消费者闲置，大概率是这几个原因：

1. Group ID不一致：如果两个消费者的group.id有差异，就会被当成不同Group，第二个Group可能因为没有历史偏移且设了latest，在无新消息时一直等待。先严格确认两个消费者的group.id完全相同；
2. 分区分配未触发：旧版消费者的分区分配由ZK协调，如果ZK连接异常，或者消费者初始化慢，可能导致分区分配延迟。可以用ZK客户端查看Group节点是否正常创建；
3. 第一个消费者占用所有分区：如果第一个消费者的topicCountMap配置的是topic -> 3，它会占用全部3个分区，第二个消费者就会闲置。你代码里topicCountMap.put(topic, new Integer(1))是正确的，每个消费者只请求1个数据流，正常应该分配1个分区给第二个消费者；
4. 消费偏移异常：如果第二个消费者的偏移被定位到最新位置，而生产者没有新消息产生，就会一直等待。把auto.offset.reset设为earliest，让它从Topic最开始的消息消费试试。

三、解决无多分区时同Group消费者重复收消息的问题 #

当Topic只有1个分区时，同Group ID下只能有1个消费者活跃消费该分区，另一个会处于闲置状态。你之前遇到重复消费，说明：

• 两个消费者的group.id不一致，属于不同Group，每个Group都会独立消费这个分区的消息；
• 或者消费者配置错误，没有进入Group消费模式（比如误用了广播逻辑）。

请再次确认两个消费者的group.id完全相同，这样Kafka才会把分区分配给Group内的消费者，实现负载均衡而非重复消费。

四、额外验证步骤 #

1. 用Kafka命令行工具查看分区分配情况，确认每个分区被分配给了哪个消费者：

./kafka-consumer-groups.sh --zookeeper localhost:2181 --group your-group-id --describe

2. 检查生产者的分区逻辑：你用了DefaultPartitioner，如果发送的消息没有key，会轮询分配到3个分区，两个消费者都能收到消息；如果消息有相同key，会被分配到同一个分区，只有一个消费者能收到，可以调整消息key或者自定义分区器。

按照上面的步骤调整后，应该就能解决你的问题了。

内容的提问来源于stack exchange，提问作者vbNewbie