如何配置Airflow使./dags目录新增DAG更快在UI中显示？

以下是几个关键配置项，可直接在Docker Compose的环境变量中设置，减少新DAG的加载等待时间：

1. 缩短DAG扫描与处理间隔 #

调整两个核心调度器参数，降低默认的5分钟间隔：

• AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL：控制重复处理同一DAG文件的最小间隔（单位：秒），默认300。建议设为30-60秒，平衡性能与实时性。
• AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL：控制调度器扫描DAG目录的间隔（单位：秒），默认300。同样可设为30-60秒。

在docker-compose.yml的scheduler服务环境变量中添加：

AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL: 30
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL: 30

2. 开启DAG序列化 #

启用DAG序列化后，调度器会将解析后的DAG存入数据库，而非每次扫描都重新解析文件，大幅降低CPU开销：

• AIRFLOW__CORE__DAG_SERIALIZATION：设为True开启序列化。
• AIRFLOW__CORE__MIN_SERIALIZED_DAG_UPDATE_INTERVAL：控制序列化DAG的更新间隔（单位：秒），建议设为30。

添加到环境变量：

AIRFLOW__CORE__DAG_SERIALIZATION: 'True'
AIRFLOW__CORE__MIN_SERIALIZED_DAG_UPDATE_INTERVAL: 30

3. 排除无关文件/目录 #

让调度器跳过无需扫描的文件，减少扫描范围：

• AIRFLOW__CORE__DAG_EXCLUDE_PATTERNS：指定排除的文件或目录，比如缓存文件、版本控制目录等。

示例配置：

AIRFLOW__CORE__DAG_EXCLUDE_PATTERNS: '*.pyc,__pycache__,.git'

4. 提升调度器并行解析能力 #

增加处理DAG的进程数，加快多DAG场景下的解析速度：

• AIRFLOW__SCHEDULER__NUM_DAG_PROCESSORS：默认是2，可根据服务器CPU核心数适当调高（比如4或6）。

配置示例：

AIRFLOW__SCHEDULER__NUM_DAG_PROCESSORS: 4

注意事项 #

• 修改配置后，需重启相关服务：docker-compose restart scheduler webserver
• 间隔不要设置过小（如<10秒），否则会增加调度器和数据库的负载，反而影响性能。

内容的提问来源于stack exchange，提问作者Chris Bedford