如何在程序生命周期内避免RabbitMQ中的重复消息？

针对你遇到的调度器重复发送相同Id消息的问题，除了查询数据库验证结果，还有以下几个实用方案：

1. Worker本地内存缓存去重 #

• 操作方式：每个worker维护一个内存哈希集合（比如Python的set、Java的HashSet），专门记录已经处理完成的Id。处理消息前先检查集合里是否存在该Id，存在直接跳过；不存在则执行处理逻辑，完成后将Id加入集合。
• 适用场景：爬虫每日仅运行2小时，消息量数千条，内存占用完全可控；且worker进程在爬虫运行期间稳定不重启。
• 注意点：如果worker意外重启，缓存会清空，可能导致重启后重复处理之前的Id，适合稳定性要求不极高的场景。

2. 分布式缓存去重（Redis） #

• 操作方式：用Redis的SETNX命令（或SADD命令）实现全局去重。所有worker共享同一个Redis实例，处理消息前执行：

  SET id:{Id} "processed" EX 9000
  

  （9000秒=2.5小时，略长于爬虫运行时间），如果命令返回OK，说明是首次处理，执行后续逻辑；返回nil则直接跳过。
• 优势：解决了多worker实例、worker重启的问题，查询性能比数据库快一个量级，还能自动过期清理旧数据，避免缓存膨胀。
• 适用场景：分布式部署的worker集群，或者需要保证worker重启后不重复处理的场景。

3. 消息队列层面原生去重 #

• 操作方式：利用部分MQ的原生去重能力，从队列层面拦截重复消息：
  • RabbitMQ：安装x-message-deduplication插件后，给交换机或队列配置x-message-deduplication=true，并将消息的Id设为去重键（通过x-deduplication-header指定字段），MQ会自动过滤掉重复的消息，不管原消息是否已被处理。
  • Kafka：如果是生产者重复发送，开启生产者幂等性（enable.idempotence=true）；如果是调度器主动发送重复消息，可将Id作为消息的key，让Kafka自动覆盖旧消息（仅保留最新一条），但这种方式适合业务允许丢弃旧消息的场景。
• 注意点：需要依赖MQ的特性，部分MQ可能需要额外安装插件或配置，比如RabbitMQ的去重插件需要提前部署。

4. 调度器端轻量存储去重 #

• 操作方式：给调度器加一个轻量存储（比如SQLite、本地文件、Redis），发消息前先查询存储中是否已存在该Id，不存在才发送，发送成功后将Id存入存储。每日爬虫启动前清空存储，避免跨天干扰。
• 优势：从源头避免重复消息进入队列，减少后续worker的处理压力，逻辑最简单直接。
• 适用场景：调度器代码可修改，且不想在下游环节做额外处理的场景。

内容的提问来源于stack exchange，提问作者xotix