Airflow调度器频繁调用DAG文件致EFS带宽过高问题求助

问题背景 #

• 部署架构：Airflow v2.5.3，Scheduler与Webserver部署在同一EC2实例，多Worker独立部署，所有组件共享EFS挂载的airflow.cfg、DAG目录及Python环境
• 核心异常：EFS费用因元数据带宽占比过高（达98%）大幅上涨；通过strace排查发现，Scheduler每秒对每个DAG发起2次newfstatat调用，63个DAG每秒产生126次无必要的元数据请求
• 已配置参数：min_file_process_interval=120（2分钟）、dag_dir_list_interval=300（5分钟），对应任务的strace日志符合预期，但间隔期仍有持续的newfstatat调用
• 临时测试：将DAG复制到本地后，NFS带宽明显下降，但本地仍存在持续调用；排查Airflow v2.7.3版本发布说明未发现相关修复，暂计划用rsync同步本地与远程DAG

配置调整方案 #

1. 调整Scheduler隐藏参数限制文件检查频率 #

Airflow Scheduler存在部分未在默认配置中显示的参数，可进一步降低文件轮询频率：

• 设置dag_file_processor_timeout=300：延长DAG文件处理器超时时间，减少重复触发的检查操作
• 添加max_dag_run_per_loop=20：限制单次调度循环处理的DAG运行数量，间接降低文件IO请求频次
• 按需调整parallelism=32：根据EC2实例CPU/内存规格设置合理并行度，避免过度的文件访问

2. 启用DAG序列化减少文件直接访问 #

DAG序列化可将DAG元数据存储到Airflow元数据库，大幅减少Scheduler对DAG文件的直接读取：

• 在airflow.cfg中添加以下配置：

  [core]
  dag_serialization_enabled = True
  min_serialized_dag_fetch_interval = 300
  max_serialized_dag_fetch_interval = 600
  

  启用后，Scheduler优先从数据库获取DAG元数据，而非频繁访问EFS上的DAG文件

3. 优化EFS挂载参数降低元数据开销 #

针对NFS挂载特性，调整EC2上的EFS挂载参数：

• 挂载时添加noac参数禁用属性缓存（若DAG更新不频繁，可改为ac并设置acregmin=300、acregmax=600延长缓存时间）
• 设置rsize=1048576和wsize=1048576提升读写块大小，优化批量传输效率
• 将EFS性能模式切换为max_io，适配高并发元数据访问场景

4. 优化本地DAG同步方案 #

若采用本地DAG目录替代EFS共享，可替换rsync为更高效的同步方式：

• 使用inotifywait监控EFS上的DAG目录，仅在文件发生变化时触发增量同步，避免全量同步的带宽消耗
• 配置cron定时任务，每隔5-10分钟执行一次增量rsync，平衡DAG更新及时性与带宽占用

额外排查方向 #

• 检查DagFileProcessor日志，确认是否存在DAG解析错误导致的重复检查
• 排查第三方插件或自定义Operator是否在持续访问DAG文件
• 验证Scheduler的num_runs参数设置，避免无限循环触发不必要的文件操作

内容的提问来源于stack exchange，提问作者rbohlmann