Spring Boot Kafka：重启消费者后如何避免重复消费消息？

操作步骤 #

• 启动Kafka服务，向user主题生产1000条消息
• 搭建Spring Boot消费者应用，监听user主题并将消息写入数据库

问题1：关闭消费者应用后重新启动，如何避免消息重复存入数据库？ #

要解决重复入库问题，核心是保证消费过程的幂等性和偏移量提交的可靠性，具体可采用以下方案：

1. 业务层幂等校验
   给每条消息分配唯一业务标识（比如用户ID、订单号这类天然唯一字段，或生成全局唯一ID作为消息主键），写入数据库前先执行查询，若数据库已存在该标识的记录，则跳过当前消息的插入逻辑。

2. 手动提交Kafka偏移量
   修改消费者配置，关闭自动提交偏移量，仅当消息成功写入数据库后再手动提交，避免因消费者意外退出导致偏移量提前提交、重启后重复消费。
   需要调整的配置：

   spring:
     kafka:
       consumer:
         enable-auto-commit: false # 关闭自动提交
         # 其他原有配置...
   

   消费逻辑中通过Acknowledgment对象手动提交：

   @KafkaListener(topics = "user", groupId = "myGroup")
   public void consume(String message, Acknowledgment ack) {
       // 1. 执行数据库写入操作
       userRepository.save(parseMessageToUser(message));
       // 2. 确认处理完成，提交偏移量
       ack.acknowledge();
   }
   

3. 事务绑定数据库操作与偏移量提交
   利用Spring事务机制，将数据库写入和偏移量提交绑定到同一事务中，确保两者要么都成功，要么都回滚。只需在消费方法上添加@Transactional注解（需确保Spring事务配置正确），结合手动提交偏移量即可实现。

问题2：消费者处理完1000条消息后停止，再生产1000条消息后重启消费者，会出现什么情况？ #

结合给定配置分析：

• 消费者处理完第一批1000条消息后，默认会自动提交偏移量（配置未关闭enable-auto-commit，默认值为true），Kafka会记录该消费组的最新偏移量为1000（假设消息从0开始编号）。
• 新生产的1000条消息偏移量范围为1000~1999。
• 重启消费者后，由于消费组已有历史偏移量记录，auto-offset-reset: earliest配置不会生效（该配置仅在消费组无偏移量记录或偏移量失效时触发），消费者会直接从上次提交的偏移量（1000）开始消费，最终消费完新生产的1000条消息，不会重复消费第一批消息。

相关配置代码 #

spring:
  kafka:
    consumer:
      bootstrap-servers:
        - localhost:9092
      group-id: "myGroup"
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
  datasource:
    username: postgres
    url: jdbc:postgresql://localhost:5432/mydatabase
    password: admin

内容的提问来源于stack exchange，提问作者stacktrace2234