Spark Driver内存配置咨询：容器内存超限及参数设置疑问

首先看你遇到的错误：

Container [pid=7115,containerID=container_1516699670283_0001_02_000001] 超出物理内存限制。当前使用情况：已使用1.4 GB物理内存（共1.4 GB）；已使用3.4 GB虚拟内存（共6.9 GB）。正在终止容器。

这个错误明显是Driver内存分配不足导致的，结合你用的m3.2xlarge实例，咱们来逐个解答你的问题：

1）未指定spark.driver.memory时，是否会使用默认值？ #

是的，Spark会使用默认的Driver内存配置。在Spark 2.0及以后的版本中，spark.driver.memory的默认值是1GB；更早的1.x版本默认是512MB。这个默认值远小于你m3.2xlarge实例的可用内存，也是这次内存溢出的核心原因——默认的1GB内存撑不住你的应用需求，很快就打满了物理内存，触发了容器终止。

2）在此场景下，应指定多大的Driver内存？ #

m3.2xlarge实例的总物理内存是30GB，配置Driver内存时要遵循两个核心原则：

• 不能把实例的全部内存都分配给Driver，得预留足够空间给操作系统、系统守护进程，以及Spark的堆外内存开销；
• 预留4-6GB内存给系统使用，剩下的内存可以大部分分配给Driver。

基于这个原则，你可以把spark.driver.memory设置为20GB到24GB之间，比如：

spark-submit --driver-memory 22g ...

另外要注意，Spark还有spark.driver.memoryOverhead配置，它是给Driver的堆外内存（比如JNI调用、直接内存等）预留的空间，默认是Driver内存的10%或者至少384MB。如果设置了22GB的Driver内存，内存开销会自动是2.2GB左右，加上Driver本身的22GB，总内存使用大概24.2GB，剩下的5.8GB留给系统完全足够。

如果后续还是遇到虚拟内存溢出的问题，可以适当调高spark.driver.memoryOverhead的值，比如设置为4GB：

spark-submit --driver-memory 22g --conf spark.driver.memoryOverhead=4g ...

内容的提问来源于stack exchange，提问作者Sanchay