如何限制Kafka Topic被重复消费？解决SEND_NOTIFICATION重复推送问题

针对调试模式下Kafka消息重复消费导致通知反复推送的问题，可通过以下几种方案解决：

• 调整消费位移提交逻辑
  调试时断点会打断自动位移提交的时机，导致重启后从旧位移处重新消费。建议改为手动提交位移：仅在通知消息完全推送成功后，再调用位移提交接口（比如Spring Kafka中的Acknowledgment.acknowledge()）。确保只有处理完成的消息才会提交位移，调试中断后重启不会重复消费已处理的消息。

• 调试环境使用独立消费组
  为本地调试实例配置单独的消费组ID（例如notification-consumer-debug），与生产环境的消费组完全隔离。这样调试时的消费操作不会影响生产环境的位移记录，调试结束后可直接重置或丢弃该调试组的位移数据，避免对正常消费造成干扰。

• 实现消息幂等处理
  在每条通知消息中加入唯一的notificationId，通知服务维护一个已处理消息的标识存储（如Redis缓存、本地内存哈希表）。每次消费消息时先校验该ID是否已存在：若已处理则直接跳过推送逻辑；若未处理则执行推送并标记ID为已处理。这是兜底方案，能彻底避免任何场景下的重复推送。

• 调试时临时隔离生产消费
  若本地调试需要连接生产Kafka集群，可临时暂停生产环境的消费进程，或通过Kafka控制台将生产消费组的位移临时重置到最新位置，避免本地调试实例与生产进程同时消费同一批消息。

内容的提问来源于stack exchange，提问作者Divyanshu Supehia