Spring Kafka：反序列化异常时CommonErrorHandler失效问题咨询

问题背景 #

我原本期望通过配置ExponentialBackOff作为默认CommonErrorHandler捕获所有异常，触发监控告警后人工修复问题，暂未配置死信队列（DLQ），预期异常发生时阻塞队列。相关配置及代码如下：

配置代码 #

CommonErrorHandler Bean

@Bean
CommonErrorHandler commonErrorHandler() {
    var exponentialBackOff = new ExponentialBackOff();
    exponentialBackOff.setMaxInterval(Duration.ofHours(1).toMillis());
    return new DefaultErrorHandler(exponentialBackOff);
}

消费端配置

spring.kafka.consumer.key-deserializer=org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
spring.kafka.consumer.properties.spring.deserializer.key.delegate.class=org.springframework.kafka.support.serializer.DelegatingByTopicDeserializer
spring.kafka.consumer.properties.spring.kafka.key.serialization.bytopic.default=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.properties.spring.kafka.key.serialization.bytopic.config=\
    topic.order.archive-invoice-event:org.apache.kafka.common.serialization.IntegerDeserializer

监听器代码

@KafkaListener(topics = "topic.order.archive-invoice-event")
void onArchiveInvoice(ArchiveInvoiceEvent event) {
    invoiceService.archiveInvoice(event.getOrderId());
}

异常现象 #

常规业务异常发生时，commonErrorHandler能按预期处理，但当生产者将键的序列化类型从Integer改为String后，出现以下日志：

Backoff FixedBackOff{interval=0, currentAttempts=1, maxAttempts=0} exhausted for topic.order.archive-invoice-event-1@489253

对应的堆栈跟踪：

o.a.k.c.e.SerializationException: Size of data received by IntegerDeserializer is not 4
    at o.a.k.c.s.IntegerDeserializer.deserialize(IntegerDeserializer.java:30)
    at o.a.k.c.s.IntegerDeserializer.deserialize(IntegerDeserializer.java:24)
    at o.a.k.c.s.Deserializer.deserialize(Deserializer.java:62)
    at o.s.k.s.s.DelegatingByTopicDeserializer.deserialize(DelegatingByTopicDeserializer.java:78)
    at o.s.k.s.s.ErrorHandlingDeserializer.deserialize(ErrorHandlingDeserializer.java:215)
    ... 16 common frames omitted
Wrapped by: o.s.k.s.s.DeserializationException: failed to deserialize
    at o.s.k.s.s.SerializationUtils.deserializationException(SerializationUtils.java:158)
    at o.s.k.s.s.ErrorHandlingDeserializer.deserialize(ErrorHandlingDeserializer.java:218)
    at o.a.k.c.s.Deserializer.deserialize(Deserializer.java:73)
    at o.a.k.c.c.i.CompletedFetch.parseRecord(CompletedFetch.java:319)

追踪后发现，FailedRecordProcessor（被AbstractMessageListenerContainer使用）会针对DeserializationException这类分类异常使用FixedBackOff策略，覆盖了自定义的commonErrorHandler。

疑问 #

1. 这是预期行为还是配置错误？
2. 如何正确捕获键/值的反序列化异常？

解答 #

问题1：是否为预期行为 #

这是预期行为。Spring Kafka中，DeserializationException属于默认的“不可恢复”异常类型，DefaultErrorHandler会通过FatalExceptionClassifier将这类异常标记为致命异常，直接使用FixedBackOff(maxAttempts = 0)（即不重试），跳过当前失败记录。

设计逻辑是：反序列化异常通常由数据格式不匹配导致，重试无法解决问题，默认行为避免无意义的重试阻塞队列。

问题2：捕获反序列化异常的方案 #

要让自定义的CommonErrorHandler接管反序列化异常的处理，需修改DefaultErrorHandler的异常分类规则，将DeserializationException从“致命异常”中移除，或自定义异常分类逻辑：

方案1：移除DeserializationException的致命异常标记

@Bean
CommonErrorHandler commonErrorHandler() {
    var exponentialBackOff = new ExponentialBackOff();
    exponentialBackOff.setMaxInterval(Duration.ofHours(1).toMillis());
    DefaultErrorHandler errorHandler = new DefaultErrorHandler(exponentialBackOff);
    // 将DeserializationException从致命异常列表中移除，触发自定义退避策略
    errorHandler.removeNotRetryableException(DeserializationException.class);
    return errorHandler;
}

方案2：自定义异常分类器（更灵活）

如果需要更精细的异常判断逻辑，可以自定义分类器，同时添加监控告警逻辑：

@Bean
CommonErrorHandler commonErrorHandler() {
    var exponentialBackOff = new ExponentialBackOff();
    exponentialBackOff.setMaxInterval(Duration.ofHours(1).toMillis());
    DefaultErrorHandler errorHandler = new DefaultErrorHandler(exponentialBackOff);
    
    // 添加重试监听，触发监控告警
    errorHandler.setRetryListeners((record, ex, deliveryAttempt) -> {
        log.error("消费异常，topic: {}, offset: {}, 尝试次数: {}", 
                  record.topic(), record.offset(), deliveryAttempt, ex);
        // 此处可接入监控系统发送告警
    });
    
    // 覆盖默认异常分类逻辑
    errorHandler.setExceptionClassifier(throwable -> {
        if (throwable instanceof DeserializationException) {
            // 反序列化异常按可重试处理，使用自定义退避策略
            return false;
        }
        // 其他异常沿用默认分类规则
        return new DefaultErrorHandler.DefaultFatalExceptionClassifier().classify(throwable);
    });
    return errorHandler;
}

补充说明

• 修改配置后，反序列化异常会触发指数退避重试，阻塞队列，符合最初的预期；
• 反序列化异常本质需要人工介入修复数据格式或调整序列化配置，需结合监控及时处理，避免长时间消费停滞；
• 若后续需要配置DLQ，可在DefaultErrorHandler中添加DeadLetterPublishingRecoverer，实现异常消息的转发。

内容的提问来源于stack exchange，提问作者gdevxy