Kafka批量消费出现异常时如何禁止打印全量批次消息日志？

要解决@KafkaListener批量消费异常时打印全量批次消息的日志冗余问题，有3种常用的落地方式，可根据你的项目版本和需求选择：

方案1：调整默认错误处理器配置（Spring Kafka 2.8+ 推荐） #

Spring Kafka 2.8版本后默认使用DefaultErrorHandler，内置了开关控制是否打印消息内容，直接关闭即可，无需完全自定义实现：

@Bean
fun commonErrorHandler(): CommonErrorHandler {
    val errorHandler = DefaultErrorHandler()
    // 关闭消息体内容打印，仅打印异常栈和消息元数据（topic、分区、偏移量等）
    errorHandler.setIncludeRecordContents(false)
    return errorHandler
}

Spring会自动将这个全局错误处理器注入到所有监听容器中，无需额外修改容器工厂配置。

方案2：自定义批量错误处理器（全版本兼容，支持自定义逻辑） #

如果使用的是旧版本Spring Kafka，或者需要自定义异常处理逻辑（比如自定义告警、死信转发规则），可以自己实现错误处理器替换默认实现：
首先实现自定义错误处理器：

import org.slf4j.LoggerFactory
import org.apache.kafka.clients.consumer.Consumer
import org.apache.kafka.clients.consumer.ConsumerRecords
import org.springframework.kafka.listener.CommonErrorHandler
import org.springframework.kafka.listener.MessageListenerContainer

class CustomBatchErrorHandler : CommonErrorHandler {
    private val log = LoggerFactory.getLogger(javaClass)

    override fun handleBatch(
        thrownException: Exception,
        records: ConsumerRecords<*, *>,
        consumer: Consumer<*, *>,
        container: MessageListenerContainer
    ) {
        // 仅打印需要的信息，不会输出全量批次的消息内容
        log.error(
            "批量消费异常，批次消息数：{}，首条异常消息元数据：topic={}, partition={}, offset={}",
            records.count(),
            records.firstOrNull()?.topic(),
            records.firstOrNull()?.partition(),
            records.firstOrNull()?.offset(),
            thrownException
        )
        // 这里可添加自定义的重试、死信转发、ack逻辑
    }
}

然后将自定义错误处理器注册到你的监听容器工厂中：

@Bean
fun kafkaBatchListenerContainerFactory(kafkaProperties: KafkaProperties): ConcurrentKafkaListenerContainerFactory<String, String> {
    val configs = kafkaProperties.buildConsumerProperties()
    configs[ConsumerConfig.MAX_POLL_RECORDS_CONFIG] = 10000
    val factory = ConcurrentKafkaListenerContainerFactory<String, String>()
    factory.consumerFactory = DefaultKafkaConsumerFactory(configs)
    factory.isBatchListener = true
    // 注册自定义错误处理器
    factory.setCommonErrorHandler(CustomBatchErrorHandler())
    return factory
}

如果你使用的是Spring Kafka 2.8之前的版本，错误处理器接口为BatchErrorHandler，替换对应接口实现即可，逻辑完全一致。

方案3：消费逻辑手动捕获异常（最简实现） #

如果不需要框架提供的重试、自动ack、死信队列等能力，直接在消费方法内部捕获异常，异常不会抛到容器层面，默认的错误处理器就不会触发打印全量日志：

@KafkaListener(
    topics = ["myTopic"],
    containerFactory = "kafkaBatchListenerContainerFactory"
)
fun batchListen(values: List<ConsumerRecord<String, String>>) {
    try {
        // 原有业务逻辑
    } catch (e: Exception) {
        // 自行打印异常信息，可自由控制日志内容
        log.error("批量消费业务逻辑执行异常", e)
        // 自定义异常处理：比如告警、异常消息落库等
    }
}

内容的提问来源于stack exchange，提问作者Tobias Hermann