如何配置Celery+Rabbitmq实现队列任务定时执行且保留路由优先级

完全不用改你现有的路由、优先级规则，基于RabbitMQ原生特性实现即可，稳定性最高，无额外依赖：

方案一：消费者定时启停（推荐） #

这个方案零侵入，现有配置几乎不用调整，逻辑最可控：

• 首先给你那类会建立数据库连接的任务单独分配专属队列，直接在现有路由配置里追加规则即可，原有两条配置原封不动保留，优先级按业务要求设置即可：

CELERY_TASK_ROUTES= {
    # 以下原有配置完全不动，不影响现有任务逻辑
    'report_app.tasks.*': {'queue': 'create_report_queue', 'priority': 1},
    'link_app.tasks.*': {'queue': 'add_link_queue', 'priority': 2},
    # 新增DB类任务的路由规则，优先级按需调整
    'db_related_tasks.*': {'queue': 'scheduled_db_execute_queue', 'priority': 1},
}

• 非执行窗口（即除凌晨1点前后的任务执行时段），不要启动任何监听scheduled_db_execute_queue的Celery worker。任务正常调用、正常入队，RabbitMQ会持久化存储所有待执行消息，不会丢失、不会被消费，完全满足“入队后先等待”的要求；其他队列的worker正常运行，完全不受影响。
• 用crontab或者Celery Beat配置定时触发规则：每天凌晨00:55启动专属worker，监听scheduled_db_execute_queue，启动时指定并发数为1，保证任务逐个串行执行，避免同时建立大量数据库连接：

# 启动命令，替换成你自己的celery应用路径即可
celery -A your_project worker -Q scheduled_db_execute_queue --concurrency=1 --loglevel=info

• 再配置一条定时规则，在预估任务全部执行完成的时间点（比如凌晨5点，按1000个任务的执行耗时留足冗余），关闭这个专属worker即可。非执行时段新入队的任务会自动堆积，等第二天执行窗口到了再消费。

方案优势 #

• 原有路由、优先级规则100%生效，无任何兼容问题，worker消费时会自动按队列配置的优先级拉取任务
• 依赖RabbitMQ原生持久化机制，任务不会丢失，可靠性远高于其他软定时方案
• 串行执行的控制逻辑简单，不会出现并发打满数据库连接的问题
• 运维成本极低，故障排查成本低

方案二：RabbitMQ TTL+死信队列（不想启停worker可选） #

如果你不想做worker的启停操作，可以用RabbitMQ原生的消息过期+死信队列能力实现：

1. 给目标缓冲队列配置死信交换器，绑定实际消费队列
2. 消息发送到缓冲队列时，动态计算当前时间到次日凌晨1点的时间差，设置为消息TTL
3. 消息到期后会自动路由到实际消费队列，被常驻的worker消费

注意：这个方案需要动态计算每个消息的TTL，还要额外配置队列参数，逻辑复杂度高；如果消息TTL设置不一致，还容易出现队头阻塞问题，优先级兼容也要额外调试，非特殊需求不推荐使用。

避坑提醒 #

• 不要用Celery自带的eta/countdown参数实现这个需求：这类定时任务会被Celery提前加载到内存中等待，1000个量级的任务虽然不算特别大，但如果worker重启很容易出现执行时间漂移、任务重复消费的问题，稳定性差。
• 如果你的DB类任务本身就混在现有两个业务队列里，且这两个队列没有其他需要实时消费的任务，也可以不用拆新队列，直接按上面的逻辑平时停掉对应队列的worker，到点再启动即可；如果队列里有实时任务，一定要拆专属队列，避免影响正常业务。
• 专属队列保持默认的持久化配置即可，消息发送时也用默认的持久化投递模式，避免RabbitMQ重启导致任务丢失。

内容的提问来源于stack exchange，提问作者scaryhamid