Airflow中DAG的on_failure_callback日志在UI中何处查看？

DAG级别的on_failure_callback日志不会出现在任务的UI日志页面中，因为这个回调是由Airflow Scheduler进程触发执行的，日志会输出到Scheduler的日志流中，具体查看位置分以下几种情况：

• 本地部署场景：

  • 直接启动Scheduler时，日志默认输出到控制台；
  • 可通过Airflow配置文件airflow.cfg中的scheduler_log_file参数找到日志文件路径，默认路径通常为$AIRFLOW_HOME/logs/scheduler/下按日期或latest.log命名的文件。

• 容器化部署（Docker/K8s）场景：

  • Docker环境：执行docker logs <scheduler容器名称>查看Scheduler容器日志；
  • Kubernetes环境：执行kubectl logs <scheduler Pod名称>查看Scheduler Pod的日志。

• Airflow UI方式：
  进入UI的Admin > Logs页面，筛选日志来源为scheduler的条目，即可找到DAG失败回调的日志内容。

补充说明：任务级别的on_failure_callback由Task Runner执行，所以日志会出现在对应任务的UI日志页面；而DAG级回调是Scheduler在检测到整个DAG运行失败时触发，因此日志归属Scheduler日志体系。

内容的提问来源于stack exchange，提问作者Shubhank Gupta