Airflow回填任务清除状态后卡在队列，如何保留历史执行时间重新执行？

先排查任务卡队列的核心原因 #

首先得搞清楚为啥回填的任务会卡在队列里，正常调度的却没问题，常见的几个点：

• 检查对应execution_date（1500时）的DAG是否被标记为暂停状态——回填任务的调度依赖DAG在该时间点的状态，要是后来暂停了DAG，调度器可能不会触发它
• 查看Airflow调度器的日志，有没有报错信息，比如资源不够、指定了特定worker队列但没worker监听，或者调度器进程异常
• 查任务实例的queued_by_job_id字段，要是这个ID对应的调度进程已经挂了，任务就会一直卡着

精准重跑指定历史时间的回填任务 #

不想重新跑一整天的任务，只想让1500时的那个回填任务以历史时间重新执行，用这几个方法：

方法1：用Airflow CLI精准操作 #

用tasks clear命令指定具体的执行时间和任务，直接重置状态并触发：

airflow tasks clear -d <你的DAG ID> -t <任务ID> -e 202X-XX-XXT15:00:00 --reset-dagruns

参数解释：

• -d：填你的DAG的ID
• -t：填要重跑的任务ID，要是整个DAG的所有任务都要重跑这个时间点的，去掉这个参数就行
• -e：精确指定1500时的执行时间，格式要严格符合YYYY-MM-DDTHH:MM:SS
• --reset-dagruns：重置对应时间的DAG运行状态，让调度器重新识别并触发任务

方法2：通过Airflow UI手动处理 #

1. 打开DAG的Tree View或者Graph View
2. 找到1500时对应的任务实例
3. 点击任务的下拉菜单，选Clear，弹窗里只勾选这个时间点的任务，别选其他时间的
4. 要是清除后还是卡队列，试试点击Trigger DAG w/ config，手动把execution_date设为202X-XX-XXT15:00:00，如果不需要依赖其他已完成的任务，可以勾选Ignore dependencies

方法3：直接修改元数据库（谨慎用） #

如果上面的方法都不管用，只能直接改数据库了，操作前记得备份：

1. 连接到Airflow的元数据库（比如PostgreSQL或者MySQL）
2. 先找到目标任务实例的记录：

SELECT * FROM task_instance WHERE dag_id = '<你的DAG ID>' AND task_id = '<任务ID>' AND execution_date = '202X-XX-XX 15:00:00';

3. 更新状态字段，让调度器重新识别：

UPDATE task_instance 
SET state = NULL, queued_by_job_id = NULL, start_date = NULL, end_date = NULL 
WHERE dag_id = '<你的DAG ID>' AND task_id = '<任务ID>' AND execution_date = '202X-XX-XX 15:00:00';

4. 重启Airflow调度器，让它重新扫描数据库并触发任务

预防后续踩坑的建议 #

• 回填的时候别暂停DAG，保持DAG处于运行状态
• 别在系统高负载的时候搞大规模回填，容易把调度器挤爆
• 回填时可以用--max-active-runs限制并行的DAG实例数，避免队列堵塞

内容的提问来源于stack exchange，提问作者Jay