Airflow 2.3.2中DAG自动从Webserver UI消失的排查调试方法

一、元数据库验证 #

• 直接查询Airflow元数据库的dag表，确认目标DAG的元数据是否存在：

  SELECT dag_id, is_active, is_paused, last_parsed_time FROM dag WHERE dag_id = '<你的DAG_ID>';
  

  重点关注is_active字段，若值为false，DAG会被排除在加载列表外；同时检查last_parsed_time是否有更新，判断是否存在解析异常。
• 查询dag_code表，确认DAG文件的记录是否正常：

  SELECT dag_id, fileloc, last_updated FROM dag_code WHERE dag_id = '<你的DAG_ID>';
  

  对比fileloc路径是否与实际DAG文件路径一致，last_updated是否与文件修改时间匹配。

二、Scheduler服务排查 #

• 检索Scheduler日志，搜索目标DAG_ID相关的关键词（如parsing、removing、deactivating），排查是否存在DAG被标记为失效或停止解析的日志条目。
• 执行airflow scheduler jobs list，确认Scheduler的运行状态是否稳定，是否存在频繁重启或进程异常退出的情况。
• 检查dag_dir_list_interval配置（默认300秒），若间隔过长，结合Scheduler负载情况，可能导致DAG未被及时扫描加载，但此点需结合日志验证是否与消失时间点匹配。

三、DAG文件与解析逻辑检查 #

• 验证DAG文件的权限与所属用户，确保Airflow进程（webserver/scheduler）拥有读取权限，避免因权限变更导致文件无法被解析。
• 强制触发DAG序列化：执行airflow dags reserialize -d <你的DAG_ID>，之后再执行airflow dags list查看是否能检索到目标DAG。
• 检查DAG文件内是否存在动态生成逻辑（如依赖外部配置、环境变量或数据库数据），若外部资源异常，可能导致DAG无法被正常生成。
• 确认DAG的核心参数：检查是否设置了max_active_runs=0、is_paused_upon_creation=True等可能导致DAG不显示的参数，同时排查任务装饰器或自定义Operator是否存在未捕获的异常，导致DAG解析失败。

四、Webserver与缓存排查 #

• 查看Webserver进程状态：执行ps aux | grep airflow-webserver，确认是否存在僵死进程，导致DAG列表未同步更新。
• 检查Webserver配置中的webserver_dagbag_import_timeout参数，若DAG解析超时，会被排除在加载列表外，可适当调大该值后验证。
• 清理Airflow临时缓存：删除$AIRFLOW_HOME/dags/.airflowignore（若存在异常过滤规则），或清理$AIRFLOW_HOME/tmp目录下的临时文件，避免缓存干扰。

五、版本兼容性验证 #

• Airflow 2.3.2存在部分DAG加载相关的已知缺陷，如高并发场景下Scheduler的元数据同步异常，可尝试升级至2.3.4及以上小版本，验证问题是否解决。
• 检查是否启用了dag_serialization或lazy_load_plugins配置，这些特性在2.3.2版本中可能存在兼容性问题，可临时关闭后测试。

内容的提问来源于stack exchange，提问作者Ashish Mourya