AWS托管Airflow:Worker间是否共享vCPU与内存资源?
AWS MWAA 环境类资源与Worker扩缩容说明
环境类资源为每个Worker独享:你选择的
mw1.small这类环境类规格,对应的是单个Worker节点的独立硬件配置。也就是说,每个Worker都拥有专属的1 vCPU和2 GB内存,所有Worker之间的资源完全隔离。比如当集群扩至5个Worker时,每个Worker都能使用完整的1 vCPU + 2 GB内存资源,不存在多个Worker共享一套环境类资源的情况。Worker与DAG/Task的对应逻辑:你的原有理解存在偏差——并非每个活跃DAG占用一个Worker。MWAA的Worker用于执行Airflow Task,一个Worker可同时运行多个Task(具体数量由Airflow的
worker_concurrency等配置参数控制)。集群自动扩缩容是根据待运行Task的积压量调整Worker数量(在你设置的最小、最大Worker数范围内),而非直接对应活跃DAG的数量。
内容的提问来源于stack exchange,提问作者ingo-m
相关产品推荐
相关产品推荐

