Docker Swarm环境下Kafka运行一段时间后异常无输出问题求助

我之前在Docker Swarm搭Kafka集群时踩过完全一样的坑！日志看着全正常，消费端却死活拿不到消息，折腾了好几个小时才摸清楚几个高频排查点，给你梳理下：

别光看生产端返回成功，先拿Kafka自带的命令行工具验证最靠谱：

• 启动一个生产者发测试消息：

  kafka-console-producer.sh --broker-list <你的Kafka服务地址>:9092 --topic your-target-topic
  

  随便输入一条消息回车，然后用消费者工具从开头拉取：

  kafka-console-consumer.sh --bootstrap-server <你的Kafka服务地址>:9092 --topic your-target-topic --from-beginning
  

  如果命令行也拿不到，那问题肯定在Broker或生产端；如果命令行能拿到，那就是你的消费端代码/配置出问题了。
• 检查生产端的acks配置：如果用了acks=0，生产端不会等Broker确认就返回成功，消息可能根本没写入就丢了。临时改成acks=all再测试下，排除这种情况。

Swarm的overlay网络最容易出这种“看似正常实则不通”的问题：

• 盯紧Kafka的LISTENERS和ADVERTISED_LISTENERS配置！这是90%的Swarm部署Kafka问题根源：
  必须让Kafka同时监听容器内部和Swarm overlay网络的地址，比如：

  KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093
  KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://<Swarm节点公网/内网IP>:9093
  

  这里的kafka是你的Swarm服务名，同网络的消费端用kafka:9092就能连；如果消费端在集群外，必须用ADVERTISED_LISTENERS里的节点IP+9093端口。
• 检查Swarm服务的端口映射：如果消费端在集群外，9093端口有没有正确发布到节点上？用docker service inspect kafka看看Ports字段是不是正常。
• 测试网络连通性：在消费端容器里ping一下kafka服务名，能不能通？如果ping不通，大概率是Swarm overlay网络出问题了，试试重启Kafka服务或者重建overlay网络。

如果命令行能消费但你的应用不行，重点看这几点：

• bootstrap.servers是不是写错了？在Swarm集群内的服务，必须用服务名+内部端口（比如kafka:9092），不能用容器IP——因为Swarm容器IP会动态变化。
• 检查auto.offset.reset配置：如果设成latest，而当前没有新消息产生，消费端会一直空等；改成earliest试试能不能拉到历史消息。
• 查看消费组的偏移量状态：用命令看看你的消费组是不是已经把消息都消费完了：

  kafka-consumer-groups.sh --bootstrap-server <Kafka地址>:9092 --describe --group your-consumer-group-id
  

  如果CURRENT-OFFSET等于LOG-END-OFFSET，说明已经没有未消费的消息了，不是拿不到，是已经被消费过了。

虽然日志没报错，但这些地方也可能出问题：

• 检查Kafka的数据目录：如果用了Swarm的volume挂载，看看容器内的/var/lib/kafka/data目录有没有对应主题的分区文件夹，日志文件是不是正常生成。还要确认Kafka容器的用户（默认是kafka）有没有读写这个目录的权限——权限不够的话，消息写不进去但日志可能不会明确报错。
• 查看主题的副本状态：用命令检查ISR（同步副本）列表：

  kafka-topics.sh --bootstrap-server <Kafka地址>:9092 --describe --topic your-target-topic
  

  如果ISR只有leader节点，说明副本同步出问题了，虽然日志没显示，但可能消息没被持久化到足够的副本，导致消费端拉不到稳定的消息。

内容的提问来源于stack exchange，提问作者Hamed Zarei