Airflow是否适合运行每秒调度且同一时间仅单实例活跃的DAG？

你提到的两项需求在Airflow 2.2.2版本搭配Celery执行器的架构下完全可以实现，具体配置方式如下：

1. 实现DAG每秒运行一次 #

Airflow默认的调度配置针对分钟级调度优化，要实现秒级调度需要调整调度器配置和DAG参数：

• DAG的调度间隔不能使用cron表达式（cron最小精度为1分钟），需要指定schedule_interval=timedelta(seconds=1)
• 调整Airflow调度器的核心配置参数：
  • min_file_process_interval：调整为0或者1，降低DAG文件解析的最小间隔，避免调度延迟
  • scheduler_heartbeat_sec：调整为1，缩小调度器心跳间隔，提升调度触发精度
  • dag_dir_list_interval：调整为1，降低DAG目录扫描间隔
• 集群调度器架构下建议开启2~3个调度器实例，避免单调度器故障导致调度中断，同时提升秒级调度的稳定性。

2. 实现同一时间仅允许一个活跃DAG运行实例 #

这个需求Airflow有原生参数支持，无需额外开发：

• 在DAG初始化参数中设置max_active_runs=1即可，该参数会限制同一个DAG最多同时存在1个运行中的实例，即使到了下一次调度触发时间，如果上一个DAG实例还未运行完成，新生成的DAG实例会进入排队状态。
• 若需要避免调度堆积，可额外搭配两个参数：
  • catchup=False：禁止补跑历史遗漏的调度实例
  • dagrun_timeout=timedelta(seconds=2)：设置DAG运行超时时间，避免异常卡住的DAG实例一直占用运行名额，导致后续调度全部阻塞。

补充注意事项 #

• 秒级调度场景下，建议DAG内的任务执行耗时控制在1秒以内，否则会持续产生排队的DAG实例，消耗集群资源
• Celery执行器场景下需要确保worker的并发资源充足，避免任务实例在Celery队列中排队导致实际执行时间晚于调度时间。

内容的提问来源于stack exchange，提问作者Sathish Kumar