如何解决Spring Kafka Producer发送超时后的数据重复问题？

核心问题根源 #

你遇到的问题本质是：调用KafkaTemplate.send().get()超时抛出异常后，Kafka Producer的后台线程仍会继续尝试发送消息，直到达到delivery.timeout.ms的上限。即使你已经给请求方返回了500响应，当Kafka服务恢复后，未完成的发送任务依然会执行，最终导致重复消息。

此外，你的实现存在两个关键认知偏差：

1. 混淆了get()方法的等待超时与Producer内部的发送超时：get()只是阻塞等待发送结果的超时，并不会终止Producer后台的发送重试逻辑。
2. 未主动取消已超时的发送任务：Kafka Producer默认会在后台重试发送，直到满足delivery.timeout.ms的限制，不会因为你抛出业务异常而停止。

解决方案 #

1. 主动取消超时的发送任务

修改代码，在捕获超时或异常时，调用ListenableFuture.cancel(true)终止Producer的后台发送尝试，彻底阻止消息在后续被发送：

... 
@Value("${spring.kafka.producer.properties[delivery.timeout.ms]}")
private Long deliveryTimeoutMs;

public void sendMessage(String data) throws InterruptedException {
    // 保存发送任务的Future对象
    ListenableFuture<SendResult<String, String>> sendFuture = kafkaTemplate.send(topic, data);
    try {
        sendFuture.get(deliveryTimeoutMs, MILLISECONDS);
    } catch (CancellationException | ExecutionException | TimeoutException e) {
        // 主动取消发送任务，终止后台重试
        sendFuture.cancel(true);
        String msg = String.format(UNABLE_TO_PUBLISH_DATA_IN_KAFKA, topic, data);
        log.error(msg, e);
        throw new KafkaProducerServiceException(msg, e);
    } catch (InterruptedException e) {
        // 线程中断时同样取消任务
        sendFuture.cancel(true);
        String msg = String.format(UNABLE_TO_PUBLISH_DATA_IN_KAFKA, topic, data);
        log.error(msg, e);
        throw e;
    }
}

2. 对齐Producer配置与业务超时

确保Producer的内部重试逻辑和你的业务超时完全匹配，避免出现“业务已超时，但Producer还在重试”的情况：

• 保证delivery.timeout.ms的配置值与get()方法的超时时间完全一致，让Producer内部的总发送周期和你的HTTP响应超时对齐。
• 合理配置retries和retry.backoff.ms，使得总重试时间（retries * retry.backoff.ms）不超过delivery.timeout.ms，避免无效的后台重试消耗资源。
• 若业务允许，开启Producer幂等性（enable.idempotence=true），配合acks=all和retries>0，让Kafka自动过滤重复发送的消息，作为兜底的去重机制。

3. 业务层面的去重兜底

如果担心极端场景下（比如cancel()调用前，Producer已将消息发送到Kafka但未收到响应）仍出现重复，可以在消息中加入唯一业务标识（如HTTP请求的Trace ID、业务订单ID等），在消费者端根据该标识进行去重处理，确保最终数据的一致性。

补充说明 #

需要注意的是，sendFuture.cancel(true)会尝试中断Producer的后台发送线程，但不能保证100%立即终止（比如消息已经进入Kafka的发送队列）。因此，结合Producer幂等性和业务去重的方案，能最大程度避免重复问题。

内容的提问来源于stack exchange，提问作者Enbirr