Docker部署wurstmeister/kafka，kafka-clients消费无消息求助

根据你描述的情况——生产者正常发送消息，但无论是Java客户端还是Shell命令，不指定分区就无法消费到消息，即使指定分区后Java客户端仍无响应——我整理了几个关键排查点和解决方案：

1. 手动指定分区时，需主动重置消费偏移量 #

你在代码中使用了consumer.assign(Arrays.asList(partition1))手动指定分区，但**auto.offset.reset配置在手动分配分区的模式下是不生效的**。Kafka不会自动帮你将偏移量重置到最早位置，需要显式调用seekToBeginning方法：

修改你的消费代码部分：

TopicPartition partition1 = new TopicPartition(defaultTopic, 0);
consumer.assign(Arrays.asList(partition1));
// 添加这行，强制将偏移量设置到分区起始位置
consumer.seekToBeginning(Arrays.asList(partition1));

这是因为当使用assign模式时，Kafka认为你完全掌控分区和偏移量的管理，不会触发auto.offset.reset的逻辑。如果没有这一步，消费者会从该分区的最后提交的偏移量开始消费（如果是新消费者组，可能默认从分区末尾开始），自然拿不到历史消息。

2. 检查Shell命令消费者组的偏移量状态 #

你提到不加--partition参数时Shell命令无法获取消息，可能是因为你使用的消费者组已经提交过偏移量到分区末尾。尝试指定一个全新的消费者组ID来测试：

/opt/kafka_2.12-2.2.0/bin/kafka-console-consumer.sh --bootstrap-server 10.2.0.242:9092 --topic mytesttopic --from-beginning --group fresh-test-group

如果这样能拿到消息，说明之前的消费者组偏移量已经被设置到了最新位置，--from-beginning参数在已有偏移量的情况下不会生效（它只在消费者组没有历史偏移量时触发）。

3. 确认消息实际发送到了目标分区 #

虽然你创建的是单分区topic，但可以通过Shell命令验证消息的分区归属，确保生产者确实将消息发送到了partition 0：

/opt/kafka_2.12-2.2.0/bin/kafka-console-consumer.sh --bootstrap-server 10.2.0.242:9092 --topic mytesttopic --from-beginning --property print.partition=true

这条命令会打印每条消息所属的分区，确认是否和你指定消费的分区一致。

4. 调整消费者Poll的超时时间 #

你代码中设置的Duration.ofMillis(100)超时时间太短，可能因为网络延迟或Kafka处理速度，导致第一次Poll无法获取到消息，后续循环也没有足够时间等待。建议调整为3秒左右：

Duration duration = Duration.ofMillis(3000);

额外建议：使用subscribe模式简化消费 #

如果不需要手动控制分区，建议使用consumer.subscribe(Arrays.asList(defaultTopic))订阅模式，这种模式下auto.offset.reset=earliest会生效，Kafka会自动管理分区分配和偏移量重置，更适合大多数场景。

内容的提问来源于stack exchange，提问作者youbl