You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

AWS托管Airflow:Worker间是否共享vCPU与内存资源?

AWS MWAA 环境类资源与Worker扩缩容说明
  • 环境类资源为每个Worker独享:你选择的mw1.small这类环境类规格,对应的是单个Worker节点的独立硬件配置。也就是说,每个Worker都拥有专属的1 vCPU和2 GB内存,所有Worker之间的资源完全隔离。比如当集群扩至5个Worker时,每个Worker都能使用完整的1 vCPU + 2 GB内存资源,不存在多个Worker共享一套环境类资源的情况。

  • Worker与DAG/Task的对应逻辑:你的原有理解存在偏差——并非每个活跃DAG占用一个Worker。MWAA的Worker用于执行Airflow Task,一个Worker可同时运行多个Task(具体数量由Airflow的worker_concurrency等配置参数控制)。集群自动扩缩容是根据待运行Task的积压量调整Worker数量(在你设置的最小、最大Worker数范围内),而非直接对应活跃DAG的数量。

内容的提问来源于stack exchange,提问作者ingo-m

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.23 15:03:11