Quarkus Kafka生产者幂等性配置问题：仍出现重复消息求助

核心问题分析 #

你的Kafka生产者已开启幂等性配置，但仍出现重复消息，可从配置完整性、消息Key设计、业务发送逻辑三个核心维度排查：

1. 确认Quarkus Reactive Messaging的幂等性配置是否生效 #

你使用Quarkus的Emitter发送消息，需确保幂等性相关配置正确传递到底层Kafka生产者：

• 你的enable.idempotence=true、acks=all配置正确，但需补充检查：
  • 未手动设置retries=0：开启幂等性时Kafka会自动将retries设为Integer.MAX_VALUE，若手动覆盖为0会直接失效幂等性拦截逻辑；
  • max.in.flight.requests.per.connection未超过5：该参数默认值为5，超过后幂等性无法保证；
• 检查配置拼写：比如Message-Interface的kafka.bootstrap.servers多了下划线HOST_，若DB Interface有类似笔误会导致连接异常，触发重试重复发送；
• 验证配置加载：通过Quarkus日志查看底层Kafka生产者的实际参数，确认enable.idempotence已被正确启用。

2. 修正消息Key的设计逻辑 #

你当前的Key生成规则是messageId() + triesCounter()：

String key = String.format("%s-%s",message.messageId(), message.triesCounter());

若triesCounter是重试时递增的数值，会导致每次重试的Key都不同，直接破坏Kafka幂等性的拦截逻辑：

• 不同Key可能被分配到不同Kafka分区，而幂等性仅基于<生产者ID, 分区, 序列号>三元组去重；
• 即使同一分区，不同Key会被视为独立消息，序列号重新计数，无法触发去重。

解决方法： #

将Key固定为唯一业务标识，仅使用messageId()：

String key = message.messageId();

这样无论重试多少次，同一条业务消息的Key都一致，Kafka幂等性会自动拦截重复发送的请求。

3. 排查业务层是否重复调用发送方法 #

Kafka幂等性仅拦截生产者重试导致的重复，若业务层多次调用publishToMessageQueue，比如DB Interface重复读取未标记的数据库消息，Kafka无法区分业务重复与重试，会正常接收。

排查与修复： #

• 在publishToMessageQueue中添加日志，打印messageId()和调用栈，确认是否同一消息被多次触发发送；
• 优化数据库读取逻辑：发送消息前先标记消息为“处理中”，发送成功后再更新为“已处理”，避免服务重启或异常时重复读取。

4. 完善Emitter的发送结果处理 #

使用Emitter.send()默认是异步发送，若未等待发送完成信号，业务层可能误以为发送失败而重复调用：

public Uni<Void> publishToMessageQueue(Message message){
    String key = message.messageId();
    Record<String, Message> payload = Record.of(key, message);
    return emitter.send(payload); // 返回Uni，让调用方等待发送完成确认
}

通过返回Uni<Void>，确保业务层只有在发送成功后才继续执行，避免重复触发。

内容的提问来源于stack exchange，提问作者Samuel