Airflow自定义DAG放入指定dags文件夹后未在UI及dag列表显示如何解决

排查步骤 #

• 检查文件权限
  Airflow运行进程的所属用户需要对dags目录有读取+执行权限，对dag1.py有读取权限。Linux/macOS环境可执行如下命令修复权限：

  chmod 755 /xxxxxx/airflow/dags
  chmod 644 /xxxxxx/airflow/dags/dag1.py
  

• 确认实际加载的DAG目录路径
  不要仅依赖airflow.cfg的静态配置，执行如下命令查看Airflow运行时实际读取的DAG目录：

  airflow config get-value core dags_folder
  

  若输出路径和你存放dag1.py的路径不一致，优先检查是否有AIRFLOW__CORE__DAGS_FOLDER环境变量覆盖了配置文件的设置，或者你修改的airflow.cfg不是Airflow实际加载的配置文件。
• 检查DAG文件是否存在加载错误
  即使代码逻辑合法，依赖缺失、语法兼容问题都会导致Airflow跳过该DAG的加载：
  1. 直接运行DAG文件排查错误：python /xxxxxx/airflow/dags/dag1.py，若有报错按提示修复即可
  2. 查看调度器日志确认加载失败原因：打开AIRFLOW_HOME/airflow/logs/scheduler/下最新的日志文件，搜索dag1.py关键字即可看到具体加载失败的报错信息
• 调整DAG目录扫描配置
  airflow.cfg中默认dag_dir_list_interval配置为300秒（5分钟），新增的DAG最长需要等待5分钟才会被扫描到。你可以将该配置值调小到30秒，重启scheduler后等待1-2分钟再查看DAG列表。
  另外默认配置dags_are_paused_at_creation = True，新加载的DAG会默认处于暂停状态，注意不要漏看Web UI中已暂停的DAG列表。
• 确认AIRFLOW_HOME环境变量配置
  执行echo $AIRFLOW_HOME查看系统当前的AIRFLOW_HOME路径是否和你预期的根目录一致，若未主动设置该环境变量，Airflow默认会使用~/airflow作为根目录，与你实际存放文件的路径不匹配就会出现DAG加载失败的问题。

内容的提问来源于stack exchange，提问作者Tristan Tran