未配置重试机制时Kafka事件无限重复消费问题排查求助

云原生阿岚

2026-9-3

问题根因

出现无限重试消费的核心原因是配置逻辑和Spring Kafka的运行机制不匹配，具体有两点：

偏移量提交逻辑冲突
你在消费者配置中开启了ENABLE_AUTO_COMMIT_CONFIG = true，依赖Kafka原生客户端按固定间隔自动提交偏移量，但Spring Kafka的ConcurrentKafkaListenerContainer默认的消费管控逻辑是：只要单条消息消费抛出未捕获异常，就会阻断当前批次的偏移量提交流程，等待下一次poll()操作重新拉取未提交偏移量的消息。
由于消费抛出异常的速度远快于你配置的AUTO_COMMIT_INTERVAL_MS_CONFIG自动提交间隔，异常消息对应的偏移量永远没有机会到达自动提交的时间窗口，每次拉取都会拿到这条消息，形成无限重试循环。
对默认异常处理逻辑的认知错误
Spring Kafka默认不配置任何错误处理器时，不会在消费抛异常时自动丢弃消息、也不会自动提交对应偏移量。未配置重试机制只是代表框架不会主动在当前消费线程内做重试重投，不代表异常消息会被自动跳过。

解决方案

优先选择可靠性更高的容器托管偏移量提交方案，步骤如下：

关闭Kafka原生自动提交，避免和Spring容器的提交逻辑冲突
修改consumerEventFactory()中的配置项：

// 把原来的true改成false，偏移量交给Spring容器管控
config.put(
    ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,
    "false");

为监听器容器工厂配置自定义错误处理器，消费异常时主动提交对应偏移量，实现异常消息直接丢弃的效果：

@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> dcmContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<String, String> factory =
        new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerEventFactory());
    Map<String, String> micrometerTags = new HashMap<>();
    micrometerTags.put(KafkaCommonConfig.CONSUMER_TAG, TAG_VALUE);
    factory.getContainerProperties().setMicrometerTags(micrometerTags);
    
    // 配置异常处理器
    factory.setCommonErrorHandler(new CommonErrorHandler() {
        @Override
        public boolean handleOne(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) {
            // 这里可以加自定义的异常日志打印、告警逻辑
            // 手动提交异常消息的下一个偏移量，标记该消息已处理，避免重复消费
            consumer.commitSync(Collections.singletonMap(
                new TopicPartition(record.topic(), record.partition()),
                new OffsetAndMetadata(record.offset() + 1)
            ));
            return true;
        }
    });
    // 偏移量提交模式保持默认BATCH即可，正常消息批次处理完成后自动提交
    factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.BATCH);
    return factory;
}

注意：不推荐继续使用Kafka原生自动提交配置，这种方式无法精准控制偏移量提交时机，既容易出现你遇到的无限重试问题，也可能在业务逻辑未处理完成时提前提交偏移量导致消息丢失。如果后续需要有限次数重试、异常消息投递死信队列的能力，可以直接替换为Spring Kafka自带的DefaultErrorHandler，配置对应重试次数和死信队列转发即可，不需要自己从头实现逻辑。

内容的提问来源于stack exchange，提问作者Vishal Johri