Airflow DAG无法自动运行求助：配置后无任务执行问题排查

作为Airflow新手，很容易踩这个调度逻辑的坑，咱们一步步拆解你的配置问题：

问题根源分析 #

你的DAG配置里几个关键参数组合在一起，直接导致了没有任务被调度：

• start_date和end_date均为过去日期：你设置的是2018年11月的时间，距离现在已经是很久之前的历史时间了
• catchup=False：这个参数的作用是告诉Airflow「不要补跑从start_date到当前时间之间的所有未执行任务」
• schedule_interval="@daily"：按天执行的调度规则，但所有应该触发任务的时间点都在过去，加上禁用补跑的设置，Airflow会认为没有需要执行的任务

这里补充个Airflow的核心调度逻辑：对于@daily的任务，第一次执行时间是start_date + schedule_interval——也就是你的配置里，第一个任务本该在2018-11-2 00:00触发（处理2018-11-1当天的数据），第二个任务在2018-11-3 00:00触发（处理2018-11-2当天的数据）。但这些时间点早已过去，catchup=False直接跳过了这些历史任务的补跑，所以没有任务启动。

修复方案 #

根据你的实际需求，有两种常见调整方式：

方式1：临时测试DAG（想立刻看到任务执行） #

• 把start_date改成最近的未来时间，比如datetime(2024, 5, 20, 10, 0, 0)（假设当前是2024-5-20 09:50），或者用datetime.now() + timedelta(minutes=5)设置为5分钟后启动
• 可以暂时注释掉end_date，先让DAG跑起来验证逻辑
• 此时catchup=False或True都不影响，因为start_date是未来的，没有历史任务需要补跑

修改后的示例代码：

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.dummy import DummyOperator

default_args = { 
    'owner': 'xxxx', 
    'depends_on_past': False, 
    'email_on_retry': False, 
    'retries': 3, 
    'retry_delay': timedelta(minutes=1), 
}
dag = DAG(
    'airflow_project', 
    default_args=default_args, 
    description='Load and transform data in Redshift with Airflow', 
    start_date=datetime.now() + timedelta(minutes=5),  # 设置为5分钟后启动
    # end_date=datetime(2018, 11, 3, 0, 0, 0, 0),  # 暂时注释掉
    schedule_interval="@daily", 
    catchup=False, 
)
start_operator = DummyOperator(task_id='Begin_execution', dag=dag)

方式2：补跑2018年的历史任务 #

如果你确实需要执行2018年11月1日到3日的任务，只需要把catchup=True即可。Airflow会自动补跑这段时间内所有符合调度规则的任务。

修改后的关键参数片段：

dag = DAG(
    # ... 其他参数保持不变
    catchup=True,  # 开启历史任务补跑
)

额外提醒 #

• Airflow的start_date建议用固定时间点，不要把datetime.now()作为永久配置（重启调度器后会被识别为新的start_date），测试完成后记得改成具体的固定日期
• 如果要暂停DAG执行，不要直接删除代码，先在Airflow UI里把DAG设为paused状态再做修改

内容的提问来源于stack exchange，提问作者Youshikyou