Spark Standalone模式下无法启动3个Executor的问题咨询

一、为何仅创建2个Executor #

• Worker节点资源不足：你指定了3个Executor，每个需要500M内存，Standalone集群的Worker节点必须有足够的内存和CPU核心来承载这些Executor。如果集群中只有1个Worker，且它的可用内存小于3*500M，或者可用CPU核心数少于3（默认每个Executor占用1个核心），Spark就无法启动全部3个Executor。
• 动态分配覆盖配置：如果你的Spark配置中开启了spark.dynamicAllocation.enabled=true，那么--num-executors的设置会被动态分配机制覆盖。Spark会根据作业的实际负载自动调整Executor数量，若作业数据量小，可能只会启动必要的Executor。
• 作业未触发全量Executor使用：如果你的作业数据量极小，Spark判断仅用少量Executor就能完成任务，就不会启动你指定的全部3个Executor，避免资源浪费。

二、内存分配与指定值不符的原因 #

• UI显示的是实际使用内存，而非配置上限：
  • 你通过--driver-memory 600M设置的是Driver的JVM堆最大内存，History UI中显示的168M是Driver进程实际占用的内存，只有当作业需要用到更多内存时，才会逐步接近600M的上限。
  • 同理，--executor-memory 500M是每个Executor的JVM堆最大内存，UI中显示的110M是该Executor当前实际使用的内存，不是配置的上限值。
• 内存配置的理解误区：你指定的--executor-memory 500M是每个Executor的内存上限，而非所有Executor的内存总和。如果启动3个Executor，每个的内存上限都是500M，总和应为1500M，而非500M。
• Standalone节点的系统内存预留：Spark Standalone的Worker节点会预留一部分内存给操作系统和其他进程，不会将节点的全部内存分配给Spark Executor。但这只会影响可分配的最大内存上限，UI中显示的实际使用量还是由作业负载决定。

内容的提问来源于stack exchange，提问作者nayak0765