Airflow gitSync同步后旧DAG在Web UI残留的问题求助

1. 组件缓存与解析延迟：Airflow的Scheduler和Webserver是独立运行的组件，两者都会缓存已解析的DAG信息，且默认按固定间隔（默认5分钟）扫描DAG目录。git-sync同步文件后，组件不会立刻感知到变化，需要等待扫描周期触发才会重新解析文件，导致新旧DAG短暂共存。
2. 元数据库记录残留：旧DAG的信息会保存在Airflow的元数据库中，默认情况下Scheduler不会自动删除这些记录，只有当开启孤儿DAG清理机制并触发检查时，才会移除无对应文件的DAG记录。
3. 文件变更感知机制限制：Airflow不会实时监听DAG目录的文件变化，依赖定时扫描来发现文件更新，这期间旧DAG的元数据仍有效，会在UI中显示并可被调度。

调整DAG解析与刷新配置 #

• 修改Airflow核心配置，缩短DAG目录扫描间隔：
  • 设置dag_dir_list_interval = 60（单位：秒，默认300），让Scheduler和Webserver更频繁扫描DAG目录
  • 设置min_file_process_interval = 10（单位：秒，默认30），减少同一文件的重复解析等待时间
    在Airflow Chart中，可通过config.airflow.core参数注入这些配置。

启用自动清理孤儿DAG #

• 开启Scheduler的自动清理功能：
  • 设置delete_orphaned_dags = True，让Scheduler自动删除元数据库中无对应DAG文件的记录
  • 调整dag_orphaned_check_interval = 300（单位：秒，默认3600），缩短孤儿DAG的检查周期
    同样通过Chart的config.airflow.core配置项添加。

优化git-sync同步频率 #

• 在Airflow Chart的git-sync配置中，缩短syncWait参数值（默认60秒），比如设置为30秒，让git-sync更频繁拉取仓库的最新DAG文件，减少文件同步延迟。

手动触发DAG刷新（应急场景） #

• 使用Airflow CLI执行：airflow dags rescan，强制触发DAG目录重新扫描
• 在Web UI的「Admin」→「Configuration」页面，点击「Refresh DAGs」按钮（Airflow 2.x版本支持）

最佳实践：避免直接修改DAG ID #

• 优先通过修改DAG的版本标识（如在DAG定义中添加version参数）、调整任务逻辑而非修改dag_id，从根源避免新旧DAG共存问题
• 若必须修改dag_id，先暂停旧DAG，待新DAG成功识别并运行后，再手动删除旧DAG的元数据记录（可通过airflow dags delete <old_dag_id> CLI命令）

内容的提问来源于stack exchange，提问作者user1763430