为何Airflow DAG逻辑运行间隔存在毫秒级偏差？

• 调度器轮询机制：Airflow调度器默认以1秒为间隔（scheduler_heartbeat_sec默认值为1）轮询检查DAG的调度状态。当你设置schedule_interval为1分钟时，调度器只能在每秒的检查节点触发符合条件的DAG运行，这就导致实际触发时间与理论时间存在0-1秒的偏差，进而反映在运行间隔上。

• 任务队列延迟：当集群内存在较多待执行任务时，DAG触发后需要等待worker节点释放资源才能启动。队列的排队等待时间会造成实际运行间隔的波动，通常在1秒左右范围内。

• 系统时钟偏差：调度器与worker节点的系统时钟可能存在毫秒级差异，或者NTP时钟同步的校准误差，这也会导致任务实际运行时间与理论预期出现细微偏差。

• DAG解析与调度开销：调度器每次检查时需要解析DAG文件、验证配置，这个过程存在微小的性能开销。如果DAG结构复杂或集群资源紧张，解析时间的波动也会影响触发的精准度。

内容的提问来源于stack exchange，提问作者Round