Spring Kafka固定延迟非阻塞重试：自定义单重试主题配置问题

问题背景 #

使用Spring Kafka 2.9.13配置自定义固定延迟重试主题，已通过@RetryableTopic注解配置重试规则，实现RetryTopicNamesProviderFactory指定自定义重试主题名，且已在Kafka控制台创建对应主题。当抛出CustomRetryableException时，消息能成功发送到自定义重试主题，但消息始终滞留无后续处理，疑问是否需要编写新的消费者/监听器，以及遗漏的配置项。

核心结论 #

不需要手动编写新的消费者/监听器服务，@RetryableTopic机制会自动为重试主题生成对应的消费者容器，复用原监听器的处理逻辑。问题出在以下关键配置遗漏：

遗漏的配置与修复方案 #

1. 未将自定义RetryTopicNamesProviderFactory注册为Spring Bean #

你的MyNamesProvider类仅实现了接口，但未被Spring容器管理，导致框架无法识别并应用自定义主题命名策略。需要添加@Component注解将其注册为Bean：

@Component
public class MyNamesProvider implements RetryTopicNamesProviderFactory {

    @Override
    public RetryTopicNamesProvider createRetryTopicNamesProvider(DestinationTopic.Properties properties) {
        return new SuffixingRetryTopicNamesProvider(properties) {

            @Override
            public String getTopicName(String topic) {
                if (properties.isMainEndpoint()) {
                    return topic;
                } else if (properties.isDltTopic()) {
                    return "dummy";
                }
                return "mynew.retryable.topic";
            }

        };
    }
}

2. 确保重试主题的消费者配置与原监听器兼容 #

• 检查kafkaConcurrentListenerContainerFactory的配置，确保其支持重试场景：比如ackMode设置为MANUAL或MANUAL_IMMEDIATE（与原监听器的Acknowledgment参数匹配），避免自动提交导致消息丢失。
• 框架会自动为重试主题生成对应的消费者Group ID（基于原Group ID添加后缀），无需手动指定，但需确保Kafka中该Group ID不存在未提交的偏移量问题。

3. 验证异常处理逻辑 #

确保CustomRetryableException是运行时异常（继承RuntimeException），或者在抛出时未被其他异常处理器捕获，否则@RetryableTopic无法触发重试逻辑。

额外检查项 #

• 确认kafkaEventMessageTemplate配置正确，能正常连接Kafka集群并发送消息到重试主题。
• 检查Kafka重试主题的分区数、副本数配置是否合理，避免因资源不足导致消息滞留。
• 查看Spring Kafka日志（调整日志级别为DEBUG），确认是否有消费者容器创建失败或偏移量提交异常的日志信息。

内容的提问来源于stack exchange，提问作者VIshal Choudhary