Airflow可延迟算子触发异常：func方法未被调用求助

核心问题：airflow dags test 不支持Deferrable逻辑 #

airflow dags test 是本地单次测试命令，它仅会直接运行任务的execute方法，但不会与Airflow的Triggerer服务交互，也不会持久化任务状态以恢复执行defer后的回调方法（即你的func）。这就是你只看到--- execute --输出，却永远无法触发func的原因。

正确操作步骤 #

1. 替换测试命令：放弃使用airflow dags test，改用正式的DAG触发命令：

   airflow dags trigger def_dag
   

   也可以通过Airflow UI手动触发该DAG。

2. 确保Triggerer服务正常运行：你已启动airflow triggerer，需确认它与Airflow元数据库、调度器处于同一环境，不存在网络或配置隔离问题。

3. 修复DAG的start_date：不要用datetime.now()作为start_date，Airflow不允许动态生成的start_date，会引发调度异常。改为固定的过去时间：

   from datetime import datetime, timedelta
   # ...
   with DAG(
       "def_dag", schedule_interval=None, start_date=datetime(2024, 1, 1),
       catchup=False  # 避免回溯执行
   ) as dag:
       t = TestDefer(task_id="defer_task")
   

4. 验证Airflow版本：Deferrable Operator是Airflow 2.2及以上版本才支持的特性，确认你的版本符合要求：

   airflow version
   

补充说明 #

用airflow dags trigger触发DAG后，任务会进入deferred状态，Triggerer服务会监听TimeDeltaTrigger事件，等待1秒后唤醒任务并执行func方法。你可以在Airflow UI的任务日志中看到--- func ----的输出。

内容的提问来源于stack exchange，提问作者Flo