Spring Retry实现Kafka消费者重试：能否使用单个重试主题？

当然可以将所有重试消息发送到同一个目标主题，无需为每次重试创建单独的主题。Spring Kafka的@RetryableTopic注解提供了直接的配置项来实现这一需求，具体操作如下：

核心配置修改 #

在@RetryableTopic注解中指定topicSuffixingStrategy = TopicSuffixingStrategy.SINGLE_TOPIC，即可让所有重试尝试共用同一个重试主题（默认后缀为-retry，也可自定义后缀）。

修改后的代码示例：

package com.kafka.errorhandling.demo.listener;

import org.apache.kafka.common.errors.SerializationException;
import org.springframework.kafka.annotation.DltHandler;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.annotation.RetryableTopic;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.kafka.support.serializer.DeserializationException;
import org.springframework.kafka.retrytopic.TopicSuffixingStrategy; // 新增导入
import org.springframework.messaging.handler.annotation.Header;
import org.springframework.retry.annotation.Backoff;
import org.springframework.stereotype.Component;

import lombok.extern.slf4j.Slf4j;

@Component
@Slf4j
public class MyKafkaListener {

    @RetryableTopic(
            attempts = "5",
            autoCreateTopics = "false",
            backoff = @Backoff(delay = 1000, multiplier = 2.0),
            exclude = {SerializationException.class, DeserializationException.class},
            topicSuffixingStrategy = TopicSuffixingStrategy.SINGLE_TOPIC // 新增核心配置
    )
    @KafkaListener(id = "${spring.kafka.consumer.group-id}", topics = "${topic}")
    public void handleMessage(String message, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
        log.info("Received message: {} from topic: {}", message, topic);
        throw new RuntimeException("Test exception");
    }

    @DltHandler
    public void handleDlt(String message, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
        log.info("Message: {} handled by dlq topic: {}", message, topic);
    }
}

关键细节说明 #

• 主题命名规则：启用SINGLE_TOPIC策略后，重试主题名称为原主题名+指定后缀（默认-retry）。例如原主题是my-business-topic，重试主题就是my-business-topic-retry；如果需要自定义后缀，可添加配置retryTopicSuffix = "-my-custom-retry"。
• 主题提前创建：由于你设置了autoCreateTopics = "false"，需要提前在Kafka集群中创建好这个单一的重试主题，确保分区数、副本数等配置符合业务需求。
• 重试逻辑自动处理：Spring Kafka会自动为这个重试主题创建对应的消费者监听，严格按照你配置的backoff退避策略延迟消费消息，当达到最大重试次数后，自动将消息转发到死信主题（DLT）。

内容的提问来源于stack exchange，提问作者Abdelmouheimen Trabelssi