Celery Worker任务执行频率异常问题咨询及启动方式排查

我之前也碰到过类似的Celery任务远超设定间隔疯狂重复执行的坑，结合你给出的启动命令，核心问题大概率是Worker和Beat同时承担了调度任务的职责，导致双重触发。咱们一步步来定位和修复：

问题根源：Worker启动命令错误 #

你启动Worker的命令里加了-S django参数：

celery -A market_capitalizations worker -l info -S django

这个-S参数是指定调度器的意思，加上django后，Worker会自己启用django_celery_beat的调度器，相当于Worker本身在做Beat的工作。而你又单独启动了一个Beat服务，这就出现了两个独立的调度源，同时触发同一个任务，自然会导致任务被每秒多次执行，完全无视设定的间隔。

修复步骤 #

1. 停止所有Celery进程：先把正在运行的Worker和Beat进程全部停掉，避免残留进程继续乱调度。
2. 修正Worker启动命令：去掉-S django参数，Worker只需要负责执行任务，不需要自己调度：

   celery -A market_capitalizations worker -l info
   

3. 保持Beat启动命令不变：你的Beat命令是正确的，继续用这个启动专属的调度服务：

   celery market_capitalizations beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler
   

   （注意确认market_capitalizations是你的Django项目/app的正确名称，和Worker的-A参数保持一致）

额外排查点 #

如果按照上面的步骤修复后还是有问题，可以检查以下几点：

• 查看django_celery_beat_periodictask数据库表，确认有没有重复创建的相同周期任务，有时候手动添加或迁移操作会生成重复条目，导致多次触发。
• 确认Beat进程只启动了一个，误启动多个Beat进程也会导致同一任务被多次调度。
• 查看Beat和Worker的info级日志：Beat日志会有Scheduler: Sending task...的记录，Worker日志会有Received task...的记录，如果同一任务ID被多次发送/接收，就能进一步确认是调度源重复的问题。

内容的提问来源于stack exchange，提问作者Pavel Shturm