如何通过代码统一设置Spring应用中所有Kafka主题的分区与副本数？

问题 #

我的Spring应用会通过@RetryableTopic等功能自动创建Kafka主题，但所有主题默认都以1个分区、1个副本创建。我已经知道如何为指定名称的主题设置分区和副本，但需要将这些分区、副本设置应用于所有自动创建的主题，无需逐个指定主题名称，该如何解决？

当前KafkaAdmin配置如下：

@Bean
public KafkaAdmin kafkaAdmin() {
    Map<String, Object> props = new HashMap<>();
    props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, servers);
    props.put("sasl.jaas.config", "....");
    props.put("security.protocol", "...");
    props.put("sasl.mechanism", "...");
    return new KafkaAdmin(props);
}

指定主题的配置方式示例：

public NewTopic createTopic() {
    return TopicBuilder.name(topicName)
            .partitions(2)
            .replicas(2)
            .build();
}

解决方案 #

1. 全局默认主题配置（适用于所有自动创建的主题） #

在KafkaAdmin的配置中添加num.partitions和default.replication.factor参数，这两个参数会作为Kafka自动创建主题时的全局默认值，所有未显式指定分区/副本数的主题都会沿用这个配置。

修改后的KafkaAdmin Bean：

@Bean
public KafkaAdmin kafkaAdmin() {
    Map<String, Object> props = new HashMap<>();
    props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, servers);
    props.put("sasl.jaas.config", "....");
    props.put("security.protocol", "...");
    props.put("sasl.mechanism", "...");
    // 设置全局默认分区数和副本数
    props.put("num.partitions", 2);
    props.put("default.replication.factor", 2);
    return new KafkaAdmin(props);
}

注意：如果通过NewTopic显式指定了分区或副本数，会覆盖这个全局默认配置。

2. 针对@RetryableTopic衍生主题的统一配置 #

如果需要确保@RetryableTopic自动生成的重试、死信等衍生主题也使用统一的分区和副本数，可以通过RetryableTopicConfigurationCustomizer来全局配置：

@Bean
public RetryableTopicConfigurationCustomizer retryableTopicCustomizer() {
    return config -> config
            .setPartitions(2)
            .setReplicas(2);
}

这个配置会统一应用到所有使用@RetryableTopic注解生成的相关主题，无需逐个配置每个注解。

内容的提问来源于stack exchange，提问作者IgorPiven