Java 8 Kafka生产者批量发送后，如何借助WAL避免消息丢失？

针对Java 8下Kafka生产者批量发送时的缓冲区消息丢失问题，以下是无需自行实现的现成解决方案：

1. Kafka内置配置的基础防护（非WAL但降低风险） #

虽然不算严格的WAL，但调整核心配置可大幅降低丢失概率：

• 设置acks=all：要求消息被所有同步副本确认后，生产者才判定发送成功。配合retries（合理设置重试次数）和enable.idempotence=true（开启幂等性），能避免网络波动导致的重复或丢失，但无法解决进程崩溃时未发送的缓冲区消息。
• 调整buffer.memory：设置合适的缓冲区大小（默认32MB），避免因缓冲区溢出导致消息被丢弃，但同样不覆盖崩溃场景。

2. 第三方库的WAL实现 #

Spring Kafka 持久化生产者 #

如果你的应用基于Spring生态，Spring Kafka的持久化生产者功能完美匹配需求：它会将待发送的批量消息先写入本地文件系统或数据库（作为WAL），只有消息成功发送到Kafka后才删除本地记录；进程崩溃重启后，会自动读取本地未发送的消息并重试。

• 适配Java 8：需使用Spring Kafka 2.x版本（3.x及以上要求Java 11+）。
• 核心配置示例（properties文件）：

  # 开启生产者持久化
  spring.kafka.producer.persistence.enabled=true
  # 指定本地WAL存储路径
  spring.kafka.producer.persistence.directory=/tmp/kafka-producer-wal
  # 设置WAL记录的过期时间，防止旧消息堆积
  spring.kafka.producer.persistence.expire.ms=86400000
  

Apache Camel Kafka组件 #

Apache Camel的Kafka生产者支持配置本地消息仓库，实现类WAL的持久化逻辑：

• 消息会先落地到本地文件或数据库，批量发送成功后清理本地记录；崩溃重启后自动恢复未发送的消息。
• 适配Java 8：选择Camel 2.x版本（3.x开始支持Java 8，但2.x对Java 8的兼容性更稳定）。
• 核心代码示例（Java DSL）：

  // 配置文件型本地消息仓库
  FileLocalMessageRepository walRepo = new FileLocalMessageRepository(new File("/tmp/camel-kafka-wal"));
  
  // 定义消息路由，先持久化再发送到Kafka
  from("direct:sendToKafka")
    .to("kafka:my-topic?brokers=localhost:9092" +
        "&batch.size=16384" +
        "&linger.ms=5" +
        "&localMessageRepository=#walRepo");
  

3. 商用增强方案 #

部分商业Kafka组件提供内置WAL的生产者客户端，比如Confluent Platform的精确一次交付扩展：配合Confluent的服务，实现端到端的精确一次语义，其中包含生产者端的本地持久化逻辑，但需要依赖Confluent的商业服务或组件。

内容的提问来源于stack exchange，提问作者user983447