Spring Boot动态创建Kafka Topic无法生成指定分区数问题排查

核心问题 #

使用Spring Boot的NewTopic或TopicBuilder指定创建kafkaTopic（20/15个分区、2个副本），但实际生成的Topic仅1个分区，副本显示为0。

可能原因及解决步骤 #

1. Topic已提前存在，Spring Boot不会覆盖现有配置 #

Spring Kafka的NewTopic Bean仅在Topic不存在时执行创建逻辑，如果该Topic已被手动创建或其他服务提前生成，代码中指定的分区/副本数不会生效。

解决：

• 删除已存在的Topic：

  kafka-topics.sh --delete --topic kafkaTopic --bootstrap-server 你的Kafka地址:9092
  

• 重启Spring Boot应用，让NewTopic Bean重新创建Topic。

2. Kafka Broker默认分区数限制 #

Kafka的server.properties默认配置num.partitions=1，如果Topic被生产者首次发送消息时自动创建（而非通过NewTopic Bean），会使用这个默认分区数。

解决：

• 关闭生产者自动创建Topic的功能，在生产者配置中添加：

  configProps.put(ProducerConfig.ALLOW_AUTO_CREATE_TOPICS_CONFIG, false);
  

• 确保NewTopic Bean在应用启动时优先执行，避免生产者触发自动创建。

3. Kafka集群节点数与副本数不匹配 #

输出中Replicas: 0说明当前Kafka集群可能只有1个Broker节点。Kafka要求副本数不能超过Broker节点数，否则无法分配副本，会导致Topic创建时降级为默认配置。

解决：

• 若为本地单节点Kafka，将副本数改为1：

  return new NewTopic("kafkaTopic",20,(short)1);
  // 或使用TopicBuilder
  return TopicBuilder.name("kafkaTopic").partitions(15).replicas(1).build();
  

• 若为多节点集群，检查Broker节点是否正常运行，确保集群状态可用。

4. Spring Kafka Admin配置缺失 #

确保Spring Kafka的Admin客户端能正确连接到Kafka集群，必要时显式配置AdminClient：

@Bean
public KafkaAdmin kafkaAdmin() {
    Map<String, Object> configs = new HashMap<>();
    configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, server);
    return new KafkaAdmin(configs);
}

5. 查看应用启动日志排查 #

检查Spring Boot启动日志，查找以下关键信息：

• 包含Topic already exists的日志：说明Topic已存在，跳过创建逻辑
• 创建Topic的报错信息：比如副本分配失败、连接异常等

验证方法 #

重新创建Topic后，用命令查看Topic详情确认配置：

kafka-topics.sh --describe --topic kafkaTopic --bootstrap-server 你的Kafka地址:9092

内容的提问来源于stack exchange，提问作者prateek jangid