Spring Kafka批量事件场景下的精确一次处理实现咨询

1. 生产者端批量生产Topic A的配置有效性 #

启用幂等生产（enable.idempotence=true）和事务（transactional_id_config="transaction-event-id"）完全适用于批量生产场景：

• 幂等性本身支持批量发送，Kafka会为整个批量分配唯一的生产者ID和序列号，即使因网络波动重试，也不会导致重复消息写入Topic A。
• 事务配置会把整个批量发送操作包裹为原子单元，要么所有消息都成功提交到Topic A，要么全部回滚，避免部分发送成功的情况，确保批量消息的一致性。
• 在Spring Kafka中，只需用KafkaTemplate.executeInTransaction()方法包裹批量发送逻辑即可，示例代码：

  kafkaTemplate.executeInTransaction(template -> {
      template.sendDefault(smsList);
      return null;
  });
  

2. 消费者端isolation.level=read_committed是否足够实现精确一次 #

这个配置是必要条件，但不足以单独实现精确一次处理，还需要配合以下配置和逻辑：

• isolation.level=read_committed仅能保证消费者不会读取到未提交的事务消息，避免处理半完成的批量数据，但无法控制消费后的offset提交逻辑。
• 必须将消费者的ack-mode设置为MANUAL_IMMEDIATE或MANUAL，禁止自动提交offset，确保只有当消息处理完成（包括生产到Topic B、外部调用成功）后，才手动提交offset。
• 关键要把「消费Topic A → 业务处理 → 生产Topic B」整个流程绑定到同一个Kafka事务中：消费者在事务内消费消息，处理完成后生产Topic B的消息，最后提交事务，此时offset会和生产操作一起提交。如果流程中任何一步失败，事务回滚，offset不会提交，消息会被重新消费，从而保证精确一次。

3. 外部REST调用的语义保证与方案 #

语义说明 #

默认情况下，REST调用既不是「精确一次」也不是「至少一次」——如果调用超时或服务端处理成功但响应丢失，客户端无法确认结果，重试会导致重复调用，不重试则可能丢失请求。要实现至少一次，必须保证调用失败时会重试；要实现精确一次，则必须在至少一次的基础上增加幂等去重策略。

推荐方案 #

1. 基础至少一次实现：

   • 使用Spring Retry或Feign的重试机制，配置合理的重试次数和间隔，确保调用失败时会自动重试，覆盖网络波动、服务临时不可用的场景。
   • 注意：重试会导致重复调用，必须配合幂等策略避免重复执行。

2. 精确一次实现（幂等去重）：

   • 业务ID标识：为每个Sms请求生成唯一的业务ID（比如用Kafka消息的key、UUID或业务唯一标识），调用外部Sms-Sender时携带这个ID。
   • 服务端幂等：要求Sms-Sender服务实现基于业务ID的幂等逻辑——收到请求后先查询数据库是否已有该ID的处理记录，若有则直接返回成功；若无则执行发送逻辑，发送成功后记录该ID到数据库。
   • 本地日志校验：如果无法修改外部服务，可在本地业务数据库中记录Sms请求的处理状态：
     • 消费消息后，先查询本地数据库是否已有该业务ID的处理记录，若有则跳过处理；
     • 处理完成（包括REST调用成功）后，将业务ID和处理状态写入数据库；
     • 若调用失败，不写入记录，下次重试时重新执行。
   • 这种方案的核心是用持久化存储记录处理状态，避免重复执行。

内容的提问来源于stack exchange，提问作者stewie