Celery Beat重启时重复触发已执行周期性任务问题排查

核心问题 #

在Heroku部署的Django应用中，使用DatabaseScheduler的Celery Beat会在Heroku每日自动重启dyno时，错误触发所有配置的周期任务（即使任务未到计划执行时间）。手动执行heroku ps:restart beat第一次会复现该问题，第二次则不会，但自动重启次次触发。

原因分析 #

1. 时区不匹配：如果Django、Celery Beat、数据库三者的时区未统一（比如数据库用UTC，Beat用本地时区），Beat启动时计算任务到期时间会出现偏差，误判任务已逾期。
2. DatabaseScheduler初始化逻辑：Beat启动时会检查PeriodicTask表的last_run_at字段，如果该字段为空，或其时间早于Beat计算的“任务上次应运行时间”，就会触发任务。Heroku自动重启时，进程可能被强制终止，导致last_run_at未被正确更新到数据库，或者Beat启动时读取到旧的last_run_at值。
3. Heroku dyno时间特性：自动重启时，dyno可能被分配到不同服务器，系统时间存在微小偏差，或Beat启动时未完成时间同步，导致任务到期判断出错。

解决方案 #

1. 强制统一UTC时区 #

消除时区偏差是最基础的修复：

• 在Django settings.py中设置：

  TIME_ZONE = 'UTC'
  USE_TZ = True
  

• 在Celery配置中指定时区：

  app.conf.timezone = 'UTC'
  

• 确认PeriodicTask表的last_run_at字段存储的是UTC时间（Django开启USE_TZ=True后会自动处理）。

2. 配置Beat优雅关闭 #

给Beat足够时间在重启前保存状态到数据库：

• 在Celery配置中添加：

  app.conf.beat_shutdown_timeout = 10  # 预留10秒完成状态保存
  

• 该配置匹配Heroku默认的10秒优雅退出等待时间，避免进程被强制终止导致状态丢失。

3. 替换为RedisScheduler #

DatabaseScheduler依赖数据库事务，状态存储可靠性不如Redis，改用Redis作为Beat状态存储：

• 安装依赖：pip install celery[redis]
• 配置Celery使用RedisScheduler：

  app.conf.beat_scheduler = 'django_celery_beat.schedulers:RedisScheduler'
  app.conf.redis_url = os.environ.get('REDIS_URL')  # 从Heroku环境变量获取Redis地址
  

• 需在Heroku上添加Redis插件（如Heroku Redis）。

4. 自定义Scheduler调整触发逻辑 #

如果坚持使用DatabaseScheduler，可以自定义类修改启动时的任务触发条件：

from django_celery_beat.schedulers import DatabaseScheduler

class SafeDatabaseScheduler(DatabaseScheduler):
    def apply_entry(self, entry, producer, advance=True):
        # 仅当当前时间与计划时间偏差在1小时内，才允许触发任务
        planned_time = entry.schedule.last_run_at + entry.schedule.periodicity
        time_diff = abs(planned_time - self.app.now())
        if time_diff.total_seconds() > 3600:
            # 更新last_run_at为当前时间，避免后续误触发
            entry.last_run_at = self.app.now()
            self._update_entry(entry)
            return
        super().apply_entry(entry, producer, advance)

然后在Celery配置中指定该Scheduler：

app.conf.beat_scheduler = 'your.app.module:SafeDatabaseScheduler'

5. 确保任务幂等性 #

作为兜底方案，让任务本身支持重复调用无副作用：

• 发送邮件/短信前，检查数据库中的发送日志，确认今日已执行过则跳过；
• 给每个周期任务添加唯一标识，执行时先校验标识是否已存在。

内容的提问来源于stack exchange，提问作者peruvian_sailboat