设置acks=all后Kafka Producer仍丢消息，是否因网络抖动？需用Callback吗？

先拆解下你的配置和发送逻辑：

• acks=all：要求所有同步副本确认消息才算发送成功，这是Kafka最安全的确认级别
• retries=1：允许生产者对可重试异常进行一次重试
• linger.ms=1：等待1毫秒攒批发送，兼顾吞吐量的同时不影响核心可靠性

网络抖动会不会导致消息丢失？ #

答案是肯定的，你的当前发送逻辑存在感知盲区，网络抖动很可能导致消息无声丢失：

• 你用的producer.send(record);是异步发送，这个调用本身只会捕获本地异常（比如序列化失败、生产者缓冲区满），而网络抖动引发的发送超时、broker确认失败这类远程异常，不会在你的try/catch块中被捕获——因为这些异常是在后台IO线程处理时发生的，不会抛到你的调用线程。
• 虽然配置了retries=1，但重试是有条件的：如果是可重试异常（比如网络断连、leader副本临时不可用），生产者会自动重试，但如果重试后仍然失败，这个失败信息不会被你的代码感知到，消息就默默丢失了。
• 极端场景下：网络抖动导致broker已经成功写入所有副本，但ack响应在返回途中丢失，生产者会误判发送失败并重试，这时候会产生重复消息，但不算丢失；但如果是发送过程中网络直接中断，broker根本没收到消息，重试又失败，消息就会丢失，而你完全不知情。

是否需要改用Callback方式发送？ #

非常建议你立刻切换到带Callback的发送方式，这是感知异步发送结果的核心手段：

• Callback的onCompletion方法会在broker返回成功ack，或者发送失败（包含重试失败）时被触发，你能在第一时间获取到发送结果。
• 你可以在Callback中处理异常：当exception不为null时，说明发送失败（比如网络抖动导致的最终失败），这时候你可以记录详细的错误日志（包括消息内容、目标topic/分区），或者加入自定义重试逻辑、将失败消息存入死信队列，彻底避免消息丢失。

给你一个优化后的示例代码：

producer.send(record, new Callback() {
    @Override
    public void onCompletion(RecordMetadata metadata, Exception exception) {
        if (exception != null) {
            log.error("消息发送失败，topic: {}, key: {}, value: {}", 
                record.topic(), record.key(), record.value(), exception);
            // 这里可以添加自定义重试逻辑，比如有限次数重试，或者存入死信队列
        } else {
            log.info("消息发送成功，topic: {}, partition: {}, offset: {}", 
                metadata.topic(), metadata.partition(), metadata.offset());
        }
    }
});

额外优化建议 #

• 可以适当提高retries的值（比如设为3），同时配置retry.backoff.ms=100，给网络恢复留一点缓冲时间，降低重试失败的概率；
• 如果业务绝对不能容忍消息丢失，也可以考虑同步发送：producer.send(record).get();，这样发送结果会直接在调用线程返回，异常也能被try/catch捕获，但这会牺牲部分吞吐量，需要根据业务场景权衡。

内容的提问来源于stack exchange，提问作者facelessss