向Airflow scheduler新增DAG后未在Web UI显示的问题咨询

配置说明 #

你不需要修改已设置的AIRFLOW_HOME=~/airflow配置，问题核心是DAG存放路径不符合Airflow的加载规则。

关于示例DAG的存放路径说明 #

你看到的存放在~/myenv/lib/python3.8/site-packages/airflow/example_dags下的是Airflow安装包自带的内置示例DAG，属于Airflow安装包的固有资源，默认仅作为参考案例加载，不属于用户自定义DAG的扫描目录。

解决步骤 #

Airflow默认会扫描AIRFLOW_HOME下的dags目录加载自定义DAG，按以下操作即可：

• 先检查~/airflow目录下是否存在dags文件夹，不存在则执行命令创建：
  mkdir -p ~/airflow/dags
• 将你编写的my_test DAG文件移动到~/airflow/dags目录下
• 确认启动Airflow web server、scheduler的终端都已经执行过export AIRFLOW_HOME=~/airflow，避免环境变量不统一
• 重启Airflow scheduler和web server，等待1~2分钟后刷新Web UI即可看到新增的DAG

附加排查项 #

如果操作后仍然看不到DAG，可按以下方式排查：

• 执行python ~/airflow/dags/你的DAG文件名.py检查文件是否存在语法错误
• 执行airflow config get-value core dags_folder确认DAG扫描目录是否为~/airflow/dags
• 检查scheduler日志确认是否有对应DAG的加载报错

注意 #

不要在Airflow安装包的site-packages目录下存放自定义文件，后续升级Airflow版本时该目录下的自定义内容会被直接覆盖。

内容的提问来源于stack exchange，提问作者Memphis Meng