如何配置每日定时Python脚本并纳入AWS Elastic Beanstalk部署包正常运行

• Elastic Beanstalk（以下简称EB）默认的Web服务（如Gunicorn）通常会启动多worker进程，若apscheduler在应用代码内初始化，会在每个worker中重复生成实例，导致任务调度冲突、重复执行甚至直接失效
• EB平台会自动回收闲置Web进程，或在部署、实例扩容缩容时重启进程，内嵌在Web进程中的定时任务会随进程销毁中断
• 多实例部署场景下，每个实例都会独立运行一次定时任务，容易导致数据重复更新
• apscheduler默认使用内存存储任务状态，进程重启后所有调度状态会丢失，也不会自动恢复任务

方案1：调整Web进程调度配置（仅适合单实例、低负载场景） #

• 首先修改EB的Gunicorn配置，强制只启动1个worker进程，避免多进程调度冲突：在项目根目录新建.ebextensions/gunicorn.config文件，写入如下配置：

option_settings:
  aws:elasticbeanstalk:environment:proxy:staticfiles:
    /static: static
  aws:elasticbeanstalk:container:python:
    WSGIPath: application:application
    NumProcesses: 1
    NumThreads: 15

• 给apscheduler添加持久化存储，比如用SQLAlchemyJobStore将任务状态存在业务数据库中，避免进程重启丢失任务，参考代码如下：

from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore

jobstores = {
    'default': SQLAlchemyJobStore(url='你的数据库连接串')
}
scheduler = BackgroundScheduler(jobstores=jobstores)
# 启动前判断调度器是否已运行，避免重复添加任务
if not scheduler.running:
    scheduler.add_job(你的数据库更新函数, 'cron', day='*', hour=2, id='daily_db_update', replace_existing=True)
    scheduler.start()

注意：该方案仅适合单实例部署场景，多实例下依然会出现任务重复执行的问题

方案2：剥离定时任务到EB Worker环境（生产环境推荐） #

• 把数据库更新脚本单独拆分，不要和Dash应用放在同一个Web部署包中
• 在AWS控制台单独创建一个EB Worker环境，专门运行定时任务，Worker环境默认使用SQS队列管理任务，你可以直接在Worker项目的根目录新建.ebextensions/cron.yaml文件定义定时规则：

version: 1
cron:
  - name: "daily-db-update"
    url: "/run-db-update"
    schedule: "0 2 * * *"

• 给Worker环境写一个简单的HTTP接口，收到/run-db-update请求时执行数据库更新逻辑即可。该方案和Web进程完全解耦，支持多实例部署，也不会受Web进程重启的影响。

方案3：使用AWS EventBridge触发任务（无服务器更稳定） #

• 把数据库更新脚本改造为AWS Lambda函数，上传到Lambda平台
• 配置EventBridge规则，设置每日定时触发Lambda函数执行数据库更新
• 该方案不需要在EB环境中维护任何定时逻辑，成本低、可用性更高，完全不会影响Dash应用的正常运行。

• 部署后可以在EB控制台的日志面板，下载Web进程或Worker进程的日志，搜索apscheduler相关报错信息，确认是否存在任务启动失败、权限不足、数据库连接失败等问题
• 调试阶段可以先把定时任务的执行间隔改成几分钟，验证任务是否能正常触发，不要直接用每日间隔测试，降低验证成本。

内容的提问来源于stack exchange，提问作者insafian