Spring Kafka 2.8.*版本无限重试方案：是否可行？

在解决《Backoff none exhausted for "topic"》问题后，我编写了如下CommonErrorHandler配置代码：

@Bean
fun commonErrorHandler(
    kafkaListenerEndpointRegistry: KafkaListenerEndpointRegistry
) = DefaultErrorHandler(
    ExponentialBackOff(2000, 1.1).apply {
        maxInterval = 60 * 1000 // 1 minutes
    } // 2000, 2000 * 1.1, 2000 * 1.1 * 1.1 ...
).apply {
    listOf(
        DeserializationException::class.java,
        MessageConversionException::class.java,
        ConversionException::class.java,
        MethodArgumentResolutionException::class.java,
        NoSuchMethodException::class.java,
        ClassCastException::class.java,
    ).forEach {
        removeNotRetryableException(it)
    }

    setBackOffFunction { t, e ->
        logger.error(e) { "Fail processed topic: ${t.topic()}, record_key: ${t.key()}" }

        return@setBackOffFunction null
    }
}

我的目标是实现无限重试并添加日志，请问该方案是否合理？

方案合理性分析 #

这个方案不完全符合需求，存在几个关键问题需要调整：

• 无法实现真正的无限重试
  你配置的ExponentialBackOff默认有maxElapsedTime属性（默认值为15分钟），当累计重试时间超过这个阈值后，退避策略会判定为耗尽，停止重试。要实现无限重试，必须将maxElapsedTime设置为Long.MAX_VALUE，取消时间限制：

  ExponentialBackOff(2000, 1.1).apply {
      maxInterval = 60 * 1000 // 1分钟
      maxElapsedTime = Long.MAX_VALUE // 无累计时间限制
  }
  

• 异常重试范围不合理
  你通过removeNotRetryableException移除了DeserializationException、ClassCastException等异常的不可重试标记，但这类异常属于永久性错误——比如消息格式损坏、类型不匹配，重试多少次都无法成功，无限重试只会占用系统资源、阻塞消费。建议保留这些异常的不可重试属性，只对临时性异常（如网络波动、数据库连接超时）开启重试。

• 日志可优化
  setBackOffFunction的逻辑本身没问题，返回null会 fallback 到全局退避策略，但每次重试都会打印相同的日志，无限重试下会产生大量重复日志。建议添加重试次数到日志中，方便排查问题：

  setBackOffFunction { t, e ->
      val retryCount = deliveryAttempt(t) // 获取当前重试次数
      logger.error(e) { "第${retryCount}次处理失败，topic: ${t.topic()}, record_key: ${t.key()}" }
      null
  }
  

内容的提问来源于stack exchange，提问作者Kirill Kurdyukov