拆分数据库后Airflow UI无法显示DAG问题求助

问题描述 #

使用Airflow已有一段时间，首次遇到无法排查的异常：原本Django应用与Airflow（均以Docker部署）共用Postgres数据库时运行正常，拆分至不同集群后，Airflow可识别存在311个DAG，但UI中显示“无结果”。

已完成的排查步骤 #

• 验证Django与Airflow的数据库连接均正常，Airflow数据库的dag表确实存在311条记录（曾尝试删除记录并执行airflow db init）；
• Docker中Airflow的worker、scheduler、webserver服务日志无报错，每次修改后均执行docker-compose restart或重建操作；
• Dockerfile、docker-compose.yml及airflow.cfg中的数据库参数配置正确；
• 在Airflow容器内执行airflow dags list可正常列出所有DAG；
• 曾怀疑dags.py中import django; django.setup()的初始化操作影响Airflow数据库连接，尝试更换ORM并在文件末尾关闭连接，问题仍未解决；
• 本地单库环境下DAG运行正常，排除DAG本身存在问题的可能。

可能的解决方向 #

1. 检查元数据库dag表状态字段
   登录Airflow的Postgres数据库，查询dag表的激活、暂停状态是否异常：

   SELECT is_active, is_paused, COUNT(*) FROM dag GROUP BY is_active, is_paused;
   

   如果存在大量is_active=false的记录，可执行批量更新恢复激活状态：

   UPDATE dag SET is_active = true WHERE is_active = false;
   

2. 清理缓存与同步元数据

   • 执行airflow db clean清理过期元数据，随后重启所有Airflow服务；
   • 检查scheduler日志中是否有Processing DAG的正常输出，确认DAG状态同步正常；
   • 删除Airflow webserver缓存目录（默认在$AIRFLOW_HOME/webserver下），重启webserver服务。

3. 排查跨集群网络与数据库权限

   • 在Airflow容器内执行psql -h <db-host> -U <db-user> -d <db-name>，验证跨集群数据库连接的稳定性，排除防火墙、安全组拦截问题；
   • 确认Airflow数据库用户拥有SELECT、UPDATE等完整操作权限，避免因权限不足导致UI无法读取DAG数据。

4. 排查DAG加载的隐性问题

   • 执行airflow dags report查看DAG详细状态报告，排查是否存在隐藏的加载错误；
   • 检查dags.py中schedule_interval、start_date等参数的时区配置，确认集群环境与本地环境时区一致，避免因时区差异导致DAG被标记为未激活。

内容的提问来源于stack exchange，提问作者Булат Халиуллин