Airflow调度未更新：修改DAG起始日期后调度不生效

我完全理解你遇到的困境——生产环境不能随便删DAG，但修改start_date后调度又不按新日期走，这在Airflow里是很常见的问题，核心原因是Airflow会把DAG的调度状态（比如上次运行时间、待运行计划）存在元数据库中，直接修改代码里的start_date不会自动覆盖这些历史元数据，尤其是当你开启了catchup=True时，Scheduler会沿用旧的调度轨迹。

下面给你几个适合生产环境的解决方案，按推荐优先级排序：

方案1：用Airflow CLI重置DAG运行记录（最安全推荐） #

这个方法不需要操作数据库，用官方CLI命令就能搞定，步骤如下：

1. 先暂停目标DAG：在Airflow WebUI里找到这个DAG，点击暂停按钮，避免操作过程中触发意外运行。
2. 执行backfill命令重置状态：在Airflow服务器上运行以下命令，指定新的start_date，同时重置所有历史dagrun记录：

   airflow dags backfill -s 2020-12-30 -e 2020-12-30 --reset_dagruns DAG
   

   解释一下参数：
   • -s：设置要回填的起始日期（也就是你的新start_date）
   • -e：设置结束日期，这里和起始日期一致，只处理这一天的记录
   • --reset_dagruns：删除该DAG所有已存在的dagrun和task实例记录，让Scheduler重新根据新的start_date计算调度
3. 恢复DAG运行：操作完成后，回到WebUI把DAG重新设为运行状态，等待1-2分钟，Scheduler就会重新识别新的start_date，生成从2020-12-30开始的每周调度计划。

方案2：直接操作Airflow元数据库（适合有DB权限的场景） #

如果你有权限访问Airflow的元数据库（比如PostgreSQL、MySQL），可以手动清理相关历史记录，步骤如下：

注意：操作数据库前一定要备份元数据，并且选择业务低峰期执行！

1. 连接到Airflow元数据库：用你的数据库客户端连接到对应的实例。
2. 清理dag_run表中的历史记录：

   DELETE FROM dag_run WHERE dag_id = 'DAG';
   

3. 清理task_instance表中的对应记录：

   DELETE FROM task_instance WHERE dag_id = 'DAG';
   

4. 重启Airflow Scheduler：让Scheduler重新加载DAG配置并生成新的调度计划。

方案3：临时调整调度参数过渡（适合保留历史记录的场景） #

如果你不想清除历史运行记录，可以用这个临时方法过渡：

1. 把DAG代码中的catchup设为False，同时临时修改schedule_interval为一个临时值（比如timedelta(days=1)）。
2. 等待Scheduler识别到配置变化（通常1-2分钟），此时会生成一次基于新start_date的临时运行。
3. 再把schedule_interval改回原来的每周调度，catchup按需设置为True或False。

这个方法的可靠性稍低，适合必须保留历史运行记录的场景。

注意事项 #

• 无论用哪种方法，修改DAG代码后都要确保Airflow Webserver和Scheduler加载了新的配置（可以通过WebUI刷新DAG页面，或者重启Scheduler服务）。
• 生产环境操作前，一定要在测试环境先验证方法的有效性，避免影响业务。

内容的提问来源于stack exchange，提问作者data_addict