如何在Docker容器中保留Celery Worker的定时任务？（Django、Celery、Redis、Docker）

1. 拆分Celery Beat与Worker部署 #

Celery Beat是负责定时生成任务并推送到Broker的组件，它不需要和Django/Worker一起频繁重启。把Beat单独做成一个稳定的容器，只在你的任务调度规则（比如crontab配置）修改时才重启。这样更新Django和Worker的过程中，Beat持续运行，不会漏掉定时任务的推送。

• 部署细节：单独启动一个容器执行命令 celery -A your_project beat，注意Beat必须单例运行，避免重复推送任务。

2. 确保已入队任务不丢失 #

Broker（比如Redis）本身会存储待执行的任务队列，但如果是Worker已取走但未完成的任务，强制停止容器会导致任务丢失。可以通过以下配置优化：

• 给Worker配置优雅停机：Docker中设置STOPSIGNAL SIGTERM，或者执行docker stop时添加--time 60参数，给Worker足够时间完成当前任务后再退出。
• 开启任务重入队列：在Celery配置中设置acks_late=True或task_reject_on_worker_lost=True，这样Worker意外退出时，未完成的任务会被放回Broker，新Worker启动后可重新执行。

3. 持久化定时任务调度规则 #

如果你的定时任务是周期性的，用django-celery-beat把调度规则存在Django数据库里，避免Beat重启后丢失任务：

1. 安装django-celery-beat并添加到Django的INSTALLED_APPS。
2. 执行数据库迁移生成相关表。
3. 启动Beat时指定数据库调度器：celery -A your_project beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler
   这样Beat重启后会从数据库读取所有定时任务，继续按时推送。

4. 滚动更新Worker实现无缝切换 #

不要直接停旧Worker再启新Worker，采用滚动更新策略：先启动新Worker，等它成功连接Broker并开始处理任务后，再逐步停止旧Worker。Docker Compose可通过配置实现：

services:
  celery_worker:
    image: your_django_image
    command: celery -A your_project worker -l info
    deploy:
      replicas: 2
      update_config:
        parallelism: 1
        delay: 10s
        order: start-first

更新时会先启动一个新Worker，等待10秒后停止一个旧Worker，逐步完成更新，期间不会出现任务无人处理的情况。

内容的提问来源于stack exchange，提问作者SSS