Spring Boot中Kafka生产者节点频繁断开：原因解析与解决办法

日志含义解析 #

这些高频重复的断开日志说明你的Spring Boot Kafka生产者无法与Kafka集群的Broker节点建立稳定的TCP连接——甚至连最基础的API_VERSIONS请求都未完成就被中断。日志中显示的节点ID为负数（如-5、-3），说明生产者还处于Bootstrap初始化阶段，尚未从集群获取到正式的Broker节点ID就连接失败了。这种情况会直接导致消息发送失败、系统性能损耗，甚至完全丧失与集群的通信能力。

排查与解决步骤 #

1. 校验安全配置完整性与正确性 #

你使用了SASL_SSL协议，这是最容易出问题的环节：

• SSL证书信任问题：若集群使用自签名证书，生产者必须导入并信任该证书。在application.properties中添加：

  spring.kafka.ssl.trust-store-location=classpath:kafka-truststore.jks
  spring.kafka.ssl.trust-store-password=你的信任库密码
  

  提前将集群的CA证书导入到JKS格式的truststore文件中。
• SASL配置层级错误：部分SASL配置需绑定到生产者专属配置下，而非全局配置。调整配置如下：

  spring.kafka.producer.properties.security.protocol=SASL_SSL
  spring.kafka.producer.properties.sasl.mechanism=PLAIN
  spring.kafka.producer.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="你的用户名" password="你的密码";
  

• 权限校验：确认用户名、密码无误，且该账号拥有连接集群、写入目标Topic的权限。

2. 排查网络连通性 #

• 使用telnet broker-105.server 9093或nc -zv broker-105.server 9093测试生产者机器与Broker节点的9093端口是否可达。若不通，需检查防火墙、安全组、网络路由是否限制了该端口的访问。
• 确认spring.kafka.bootstrap-servers中的地址、端口完全正确，避免将明文端口（9092）误写为SSL端口（9093）。

3. 检查Kafka集群端配置 #

• 确认集群Broker的listeners或advertised.listeners配置中，SASL_SSL对应的地址、端口与生产者配置一致。若集群暴露的是内部地址，而生产者处于外部网络，会导致生产者拿到无法访问的地址后连接中断。
• 验证集群是否正确启用了PLAIN认证机制，检查Broker的server.properties中是否配置了listener.name.sasl_ssl.plain.sasl.jaas.config等相关参数。

4. 版本兼容性校验 #

确保Spring Boot Kafka Starter的版本与Kafka集群版本大版本一致（如均为2.x或均为3.x），跨大版本可能存在协议兼容性问题，导致连接失败。

5. 调整连接超时参数 #

适当调大超时参数，避免因网络延迟过早断开连接：

spring.kafka.producer.properties.connection.timeout.ms=10000
spring.kafka.producer.properties.request.timeout.ms=30000

验证方法 #

修改配置后重启应用，观察日志是否仍有频繁断开的信息。可以给生产者添加回调，直观查看消息发送结果：

public void produceMessage(String msg) {
    kafkaTemplate.send(topic, msg)
            .addCallback(
                    success -> System.out.println("消息发送成功：" + success.getRecordMetadata()),
                    failure -> System.err.println("消息发送失败：" + failure.getMessage())
            );
}

内容的提问来源于stack exchange，提问作者Nicolas Baumann