Spring Boot Kafka消费者连接节点时断开问题求助

核心问题定位 #

你错误地将ZooKeeper的端口（2181）配置为Kafka Bootstrap Servers的端口，Kafka Broker的默认监听端口是9092，这是导致连接持续断开的根本原因。

具体修正步骤 #

1. 修正Bootstrap Servers端口配置
   将所有配置中的10.36.12.5:2181替换为Kafka Broker的正确端口（默认9092）：

   • 若使用application.yml：

     spring:
       kafka:
         consumer:
           bootstrap-servers: 10.36.12.5:9092
           key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
           value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
           group-id: group-id
     

   • 若使用Java配置类：

     props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.36.12.5:9092");
     

2. 确认Kafka Broker端口

   • 查看Offset Explorer的连接配置，工具中用于连接Kafka的端口即为正确的Broker端口；
   • 或联系集群管理员确认自定义端口。

后续排查（若修正后仍有问题） #

• 验证Kafka advertised.listeners配置：如果集群配置的是域名而非IP，确保/etc/hosts中已正确映射该域名到VPN可访问的IP；
• 检查VPN端口转发：确认VPN允许你的机器访问Kafka Broker端口（9092或自定义端口）；
• 检查集群防火墙：确认Kafka服务器防火墙已开放对应端口，允许VPN网段的机器访问。

补充说明 #

Offset Explorer能正常连接是因为工具支持通过ZooKeeper查看Kafka元数据，但Kafka消费者必须直接连接Broker端口才能订阅和拉取消息，两者的连接端口完全不同。

内容的提问来源于stack exchange，提问作者GrigoryKrasovsky