相同代码的两个Airflow任务运行速度相差30%的原因是什么？

性能差异可能原因 #

• Mongo侧集合配置/状态差异（最高概率）
  • 索引配置不同：写入速度慢的集合可能存在更多索引、唯一索引或复合索引，每次写入需要同时更新所有索引并做唯一性校验，额外开销更高
  • 已有数据量级不同：若慢的集合已存储大量历史数据，写入时的索引更新、数据块分裂开销会远高于小数据量集合
  • 分片配置不同：如果慢的集合是分片集合，写入需要经过路由节点校验分片键、转发请求到对应分片节点，链路开销远高于非分片集合；若同时存在分片键选择不合理导致的写入热点，性能损耗会进一步放大
  • 写入策略配置不同：两个集合可能配置了不同的writeConcern，慢的集合可能要求更高的持久化确认级别（比如w: "majority"对比w: 1、强制journal刷盘），写入确认等待耗时更长
  • 所在节点负载不同：若两个集合存储在不同的Mongo节点/分片上，慢的集合所在节点可能有其他业务读写任务占用IO、CPU资源，导致写入响应延迟升高
• Airflow任务调度/执行环境差异
  • 调度时机不同：慢的任务刚好在集群业务高峰时段运行，集群整体CPU、内存、网络带宽被其他任务占用，任务可使用的资源被挤压
  • 执行节点配置不同：若使用CeleryExecutor/KubernetesExecutor，两个任务可能被调度到了硬件配置不同的worker节点上，拿到的计算资源不等导致执行速度差异
  • 处理数据量不同：虽然代码逻辑一致，但两次运行的源数据输入量可能存在差异，慢的任务实际处理和写入的数据量更大，耗时自然更长

Airflow资源分配规则 #

Airflow默认不会主动为不同任务分配不等额的资源，只有以下手动配置的场景才会出现资源分配差异：

• 使用CeleryExecutor时，若给不同任务配置了不同的任务队列，不同队列绑定了硬件配置不同的worker节点组，会导致任务拿到的资源不同
• 使用KubernetesExecutor时，若在DAG代码中为不同任务单独配置了resources参数，指定了不同的CPU、内存申请/限制，启动的Pod资源配额不同会导致执行速度差异
• 使用LocalExecutor/SequentialExecutor时，所有任务共享调度节点资源，不会有主动的差异化资源分配，性能差异来自操作系统的资源抢占调度

内容的提问来源于stack exchange，提问作者Grzegorzg