最近我正在啃Bill Chambers和Matei Zaharia合著的《Spark权威指南》，里面关于Spark垃圾回收调优的章节干货满满——既参考了官方文档的核心结论，还补充了非常实用的实战案例，刚好能解决「Minor GC频繁但Major GC较少」这类常见的调优场景。

核心调优结论 #

官方文档与《Spark权威指南》达成了一致的调优方向：

若Minor GC频繁而Major GC较少，增加Eden区的内存分配会有所帮助。

这类场景的本质是：新生代的Eden区太小，任务执行过程中产生的临时对象很快就填满了Eden区，频繁触发Minor GC，但这些对象大多是短生命周期的，很少会晋升到老年代，因此Major GC很少发生。

具体配置方法 #

你可以通过调整JVM参数来扩大Eden区的内存占比，具体有两种常用方式：

• 方式一：调整新生代与老年代的内存比例
  使用-XX:NewRatio参数控制两者的内存比例，参数值表示老年代内存是新生代的倍数。例如：

  • 默认值通常为2，即老年代内存是新生代的2倍，新生代占总堆内存的1/3
  • 设置-XX:NewRatio=1，表示新生代和老年代内存各占总堆内存的一半，直接提升新生代的整体大小，进而扩大Eden区

• 方式二：固定新生代内存大小
  用-XX:NewSize和-XX:MaxNewSize参数直接指定新生代的初始和最大内存，确保内存分配稳定。例如：

  -XX:NewSize=4g -XX:MaxNewSize=4g
  

• 在Spark中生效配置
  把上述JVM参数添加到Spark的spark.executor.extraJavaOptions配置中，让每个executor都应用这个调优。如果需要进一步细化Eden区与Survivor区的比例，可以搭配-XX:SurvivorRatio参数（默认值为8，即Eden占新生代的8/10）：

  spark.executor.extraJavaOptions "-XX:NewRatio=1 -XX:SurvivorRatio=8"
  

书中补充的实战案例 #

《Spark权威指南》里提到了一个真实场景：某Spark任务的executor总内存为8g，默认NewRatio=2导致新生代仅约2.7g，Eden区不足2.2g，任务运行时频繁触发Minor GC，拖慢了执行速度。调整NewRatio=1后，新生代扩容到4g，Eden区大小提升至3.2g，Minor GC的频率直接降低了60%，任务整体执行效率提升了近30%。

内容的提问来源于stack exchange，提问作者Wojciech Walczak