Spring Kafka配置退避策略仍无限重试问题排查求助

问题根源 #

配置的DeadLetterPublishingRecoverer无法正常发送死信，导致重试耗尽后触发seekToCurrent逻辑，消息被反复重新消费，形成无限循环。具体原因是未配置ProducerFactory的序列化器：你的消费者使用自定义TestMessageDeserializer处理消息，但默认创建的ProducerFactory未配置对应的序列化器（如JsonSerializer），发送死信时无法序列化TestMessage对象，抛出异常，进而触发错误处理器的重试回退逻辑。

解决方案 #

1. 添加ProducerFactory配置 #

在ConsumerConfig中定义ProducerFactory Bean，指定与消费者匹配的序列化器：

@Bean
public ProducerFactory<String, Object> producerFactory(@Value("${kafka.bootstrap-servers}") String bootstrapServers) {
    Map<String, Object> config = new HashMap<>();
    config.put(org.apache.kafka.clients.producer.ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
    config.put(org.apache.kafka.clients.producer.ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    config.put(org.apache.kafka.clients.producer.ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
    config.put(JsonSerializer.TRUSTED_PACKAGES, "*");
    return new DefaultKafkaProducerFactory<>(config);
}

2. 验证退避策略参数 #

你的FixedBackOff(1000L, 2L)配置表示：每次重试间隔1秒，最多重试2次（加上初始尝试，总共执行3次），之后触发死信转发。确认该参数符合你的预期。

为什么会无限循环？ #

当DeadLetterPublishingRecoverer发送死信失败时，DefaultErrorHandler默认会执行seekToCurrent操作，将消费者位移重置到当前消息的位置，导致消息被重新拉取并处理，形成无限循环。只有当死信发送成功，或者异常被标记为不可重试时，才会终止循环。

内容的提问来源于stack exchange，提问作者anthem