EMR on EC2：Spark默认Executor数量的决策逻辑是什么？

当你未配置num_executors（对应参数spark.executor.instances）时，Spark的Executor数量默认逻辑完全取决于你使用的集群管理器类型，结合你的场景（主从集群、Spot实例动态核心数、Executor默认4核），以下是具体拆解：

一、Standalone模式（你的主从节点集群最匹配此模式） #

Standalone是Spark原生的集群管理模式，默认行为分两种情况：

1. 未开启动态资源分配（默认状态） #

Spark会一次性尽可能占用集群的所有可用资源，计算逻辑为：

• 先计算集群总可用核心数：所有Worker节点（你的核心/从节点）当前空闲的核心数总和（你的场景中是10或1000）
• 理论最大Executor数 = 总可用核心数 // 每个Executor的核心数（即总核数 / 4，向下取整）
• 实际Executor数还会受内存限制：每个Executor默认需要spark.executor.memory=1G内存，只有当Worker节点的空闲内存能容纳至少一个Executor的内存需求时，才会在该节点启动Executor

比如你的10个从节点每个有100核，总核数1000，那么理论上最多可以启动1000/4=250个Executor，远大于从节点数量；如果每个从节点只有4核，那么每个节点启动1个Executor，总数量等于从节点数，这和你观察到的现象完全匹配。

2. 开启动态资源分配（需手动配置spark.dynamicAllocation.enabled=true） #

此时Spark会根据任务的实时负载动态增减Executor：

• 初始Executor数由spark.dynamicAllocation.initialExecutors控制（默认等于spark.dynamicAllocation.minExecutors，后者默认值为0，但实际会根据初始任务的并行度启动至少1个）
• 后续会根据任务的shuffle需求、待处理任务数等，自动增加Executor，直到达到spark.dynamicAllocation.maxExecutors（默认是集群总可用核心数//4）
• 当Executor空闲超过阈值（默认60秒），会自动释放

二、YARN模式（云环境如EMR常用此模式） #

如果你的Spot实例集群基于YARN管理，默认行为如下：

• 未开启动态分配：默认只启动spark.executor.instances=2个Executor（如果集群资源不足，会启动更少）
• 开启动态分配：逻辑和Standalone类似，初始Executor数由initialExecutors控制，动态调整范围在minExecutors到maxExecutors之间，后者默认无上限（受YARN集群资源总量限制）

注意事项 #

• Spark版本差异：Spark 3.x相比2.x在动态分配的默认配置上有微调，比如Standalone模式的动态分配默认是关闭的，需手动开启；YARN模式的动态分配默认开启（部分云厂商可能会修改默认配置）
• 内存优先级：如果Worker节点的空闲内存不足以容纳一个Executor的默认内存（1G），即使有空闲核心，也不会在该节点启动Executor

内容的提问来源于stack exchange，提问作者Niko