AWS EMR上Spark执行器总核数超出集群总核数的原因咨询

你遇到的核心问题是对EMR集群的可用资源范围和YARN资源分配逻辑存在误解，以下是具体原因：

1. 集群总可用核数并非仅从节点的8vCPU #

AWS EMR默认配置下，主节点（Master）也会作为YARN NodeManager参与计算资源提供。你的主节点是m6g.xlarge，该实例拥有4vCPU，加上从节点的8vCPU，集群总可用vCPU为12，而非你认为的8。

2. YARN资源分配的实际逻辑 #

根据你的配置--executor-memory 6g --executor-cores 3 --num-executors 2，YARN会按节点资源情况分配Executor：

• 从节点（m6g.2xlarge，32GB内存/8vCPU）：扣除系统预留内存（约4GB）和CPU（约2核）后，可容纳2个Executor（3核/6g内存），占用6核/12g内存。
• 主节点（m6g.xlarge，16GB内存/4vCPU）：扣除系统预留内存（约3GB）和CPU（约1核）后，剩余资源足够启动1个Executor（3核/6g内存）。

两者相加正好是3个Executor，总占用9vCPU，剩余3vCPU留给各节点的系统守护进程，完全符合YARN的资源调度规则。

3. 可能的额外影响因素：Spark动态分配 #

如果EMR默认开启了spark.dynamicAllocation.enabled=true（部分EMR版本默认启用），即使你指定了--num-executors 2，动态分配机制也可能根据任务的资源需求，在集群有剩余资源的情况下额外启动Executor，这也会导致实际Executor数量超过你设置的数值。

内容的提问来源于stack exchange，提问作者Hilal Kaldane