You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用KubernetesExecutor的Airflow任务启动缓慢问题求助

使用KubernetesExecutor的Airflow任务启动缓慢问题求助

大家好,想请教个Airflow搭配KubernetesExecutor时遇到的棘手问题:

我们现在的Airflow集群用KubernetesExecutor运行,但任务调度启动的耗时特别长——尤其是多个DAG同时触发的时候,大量任务都会卡在queued状态迟迟无法执行。

一开始我以为是worker资源不够,但运维同事明确说,每个DAG任务都会分配独立的worker,资源层面应该没问题。

从截图里能看到,整个DAG的总执行耗时达到了1小时57分钟,但把所有任务的实际执行时间加起来最多也就3秒,显然大部分时间都耗在了任务启动的等待环节。

之前我们用LocalExecutor的时候完全没这个延迟问题,一切都正常运行。我个人怀疑是Kubernetes本身或者它的配置出了问题,但我不是运维团队的成员,既没有服务器和K8s配置的访问权限,也缺乏足够的专业能力去验证这个猜想。不过如果排查需要特定的配置文件或者日志信息,我可以去跟运维同事申请调取。

有没有大佬遇到过类似的情况?或者能给一些排查方向的建议?

备注:内容来源于stack exchange,提问作者Evgenii Kozlov

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.23 10:45:29