Spring Kafka配置多级重试+DLT时所有消息均推送至同一retry主题如何解决

问题根因 #

所有消息都进入test-topic-retry-0且产生重复记录的核心原因是重试主题配置未正常生效，具体问题如下：

• 缺少@EnableKafkaRetryTopic注解：该注解是Spring Kafka 2.7+版本提供的非阻塞多主题重试功能的核心开关，未添加时重试逻辑不会按级别分发到不同主题，只会在同一重试主题内反复消费。
• 配置类存在无效代码：retryTopicConfig方法内第一行template.getProducerFactory().getConfigurationProperties());是多余的语法错误代码，会导致配置类初始化失败，重试规则不生效。
• 指数退避参数配置不合理：你设置的退避最大间隔为Long.MAX_VALUE，会导致后续重试的等待时间远超Kafka消费者会话超时时间，消费者被踢出消费组后无法正常消费下一级重试主题。
• KafkaTemplate注入可能存在偏差：你自定义的KafkaTemplate bean名称为prodTemplate，Spring默认会查找名称为kafkaTemplate的bean，若注入不匹配会导致重试消息无法正常发送到对应主题。

修复步骤 #

1. 在项目启动类或Kafka配置类上添加@EnableKafkaRetryTopic注解，开启多主题重试功能。
2. 清理配置类中的无效代码，调整指数退避的最大间隔为合理值（建议小于会话超时时间的1/2）。
3. 统一KafkaTemplate的bean名称，确保RetryTopicConfiguration注入的是正确的生产者模板。

修正后配置参考 #

// 配置类上添加注解
@Configuration
@EnableKafkaRetryTopic
public class KafkaConfig {

    // 原有consumer、producer配置保留，将KafkaTemplate的bean名称改为默认
    @Bean
    public KafkaTemplate<String, Object> kafkaTemplate() {
        return new KafkaTemplate<>(producerFactory());
    }

    @Bean
    public RetryTopicConfiguration retryTopicConfig(KafkaTemplate<String, Object> template,
        ConcurrentKafkaListenerContainerFactory<String, Object> factory) {
        // 删除之前的多余无效代码
        return RetryTopicConfigurationBuilder
            .newInstance()
            .exponentialBackoff(2000, 5, 5000) // 最大间隔调整为5s，可按需调整
            .maxAttempts(3) // 包含首次消费，对应2次重试+DLT，符合预期
            .timeoutAfter(-1)
            .autoCreateTopicsWith(3, (short) 3)
            .dltProcessingFailureStrategy(DltStrategy.FAIL_ON_ERROR)
            .setTopicSuffixingStrategy(TopicSuffixingStrategy.SUFFIX_WITH_INDEX_VALUE)
            .retryTopicSuffix("-retry")
            .dltSuffix("-dlt")
            .listenerFactory(factory)
            .create(template);
    }
}

监听器代码无需修改，修复后重试流程会按预期分发：

• 首次消费test-topic失败，消息进入test-topic-retry-0
• 消费test-topic-retry-0失败，消息进入test-topic-retry-1
• 消费test-topic-retry-1失败，消息进入test-topic-dlt由@DltHandler处理

内容的提问来源于stack exchange，提问作者javi