MWAA无Worker运行机制及EmrAddStepsOperator相关技术问题咨询

你此前对MWAA的运行架构认知完全准确，以下是两个问题的解答：

• 关于EmrAddStepsOperator的提交链路：该Operator会先被调度到MWAA Fargate Worker上运行，再由Worker调用EMR OpenAPI提交步骤到目标集群，不会直接从Scheduler侧发起提交。Scheduler仅负责任务拆解、入队调度，不会执行任何Operator的实际代码，哪怕Operator本身只有远程API调用逻辑，也必须在Worker进程中运行。
• 关于是否需要保留MWAA Worker的问题：即便所有DAG任务的实际计算逻辑都跑在EMR上，也必须配置MWAA Worker。因为Operator的参数校验、API请求发起、任务状态轮询、结果同步这些基础逻辑都需要在Worker侧执行，没有Worker的话所有任务都会卡在待调度队列中无法执行。这类纯调用外部服务的任务对Worker资源消耗极低，你可以根据并行任务量把最小Worker数设为1，再按需调整最大Worker数即可。

内容的提问来源于stack exchange，提问作者VB_