Spring Kafka无法连接localhost:9092，需手动启动Kafka服务吗？

问题描述 #

引入Spring Kafka依赖并完成配置后，应用启动时出现以下连接失败日志：

INFO     [           main] o.a.kafka.common.utils.AppInfoParser     : Kafka version: 3.4.1
INFO --- [           main] o.a.kafka.common.utils.AppInfoParser     : Kafka commitId: 8a516edc2755df89
INFO --- [           main] o.a.kafka.common.utils.AppInfoParser     : Kafka startTimeMs: 1694915576434
INFO --- [| adminclient-1] org.apache.kafka.clients.NetworkClient   : [AdminClient clientId=adminclient-1] Node -1 disconnected.
WARN --- [| adminclient-1] org.apache.kafka.clients.NetworkClient   : [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0.1:9092) could not be established.

已配置内容 #

1. Maven依赖：

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>3.0.9</version>
</dependency>

2. Kafka Admin与Topic配置：

@Bean
public KafkaAdmin kafkaAdmin() {
    Map<String, Object> configs = new HashMap<>();
    configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
    return new KafkaAdmin(configs);
}

@Bean
public NewTopic checkInTopic() {
    return new NewTopic(checkInTopicName, 1, (short) 1);
}

3. application.yml配置：

spring:  
  kafka:
    bootstrap-servers: localhost:9092

4. 生产者配置：

@Bean
public KafkaTemplate<String, String> kafkaTemplate() {
    return new KafkaTemplate<>(producerFactory());
}

@Bean
public ProducerFactory<String, String> producerFactory() {
    return new DefaultKafkaProducerFactory<>(Map.of(
            ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress,
            ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class,
            ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class
    ));
}

疑惑点：是否需要手动在localhost:9092运行Kafka？原本以为Spring框架会自动启动，就像内置Tomcat那样。

问题解答 #

1. 核心结论：Spring 不会自动启动Kafka服务，Spring Kafka只是用于连接和操作Kafka的客户端框架，和Spring Boot内置Tomcat的逻辑完全不同。Tomcat是Web应用的运行容器，属于应用本身的依赖环境；而Kafka是独立部署的消息中间件，需要单独运行。

2. 当前报错原因：你的应用作为Kafka客户端，尝试连接localhost:9092，但该端口没有运行Kafka服务，所以连接失败。

3. 解决步骤：

   • 必须手动启动Kafka服务：
     • 传统模式：先启动ZooKeeper，再启动Kafka服务（可从Kafka官方渠道下载安装包，按官方文档启动）
     • KRaft模式：Kafka 2.8+支持无ZooKeeper的KRaft模式，可直接启动Kafka集群
   • 验证Kafka是否正常运行：执行命令kafka-topics.sh --list --bootstrap-server localhost:9092（Windows系统用kafka-topics.bat），如果能返回topic列表则说明服务正常。

4. 开发环境简化方案：

   • 用Testcontainers自动启动Kafka容器：在测试或开发时，通过Testcontainers依赖自动拉起Kafka镜像，无需手动部署
   • 用嵌入式Kafka：Spring Kafka提供了spring-kafka-test依赖，可在单元测试中启动嵌入式Kafka，但仅适合测试场景，不推荐用于正式运行环境

内容的提问来源于stack exchange，提问作者camilajenny