Spark定时SQL任务触发GC overhead limit exceeded问题求助

问题场景 #

执行如下Spark SQL插入分区表操作，通过线程每10分钟执行一次，每次仅处理约1000条数据，初始运行正常，但6小时后触发内存错误：

执行的Spark SQL #

INSERT OVERWRITE TABLE desttable PARTITION(prtition_date,hour) 
select .....from srctable..

定时任务代码示例 #

new Thread(new Runnable {
override def run(): Unit = {
while (true) {
spark.sql(sparksql)
 Thread.sleep(120000)
}
}
}).start()
scala.io.StdIn.readLine()
}

报错信息 #

Exception in thread "dispatcher-event-loop-5" java.lang.OutOfMemoryError: GC overhead limit exceeded
22/12/13 19:07:42 ERROR FileFormatWriter: Aborting job null.
org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
Exchange hashpartitioning
+- *HashAggregate
   +- Exchange hashpartitioning
  +- *HashAggregate
     +- *Filter 

错误含义 #

java.lang.OutOfMemoryError: GC overhead limit exceeded 是JVM的告警信号，说明应用花费了超过98%的总时间执行垃圾回收，但仅回收了不到2%的堆内存，GC效率极低，无法释放足够内存维持程序运行。

原因定位 #

1. 资源未及时回收：线程循环中重复执行SQL，但未清理Spark上下文的临时资源（如执行计划缓存、临时数据结构），多次运行后内存中累积大量无法释放的对象，导致堆内存持续占用。
2. SparkSession复用问题：若每次循环隐含创建新的执行资源（未复用单一SparkSession实例），会导致内存泄漏，逐步耗尽堆内存。
3. 聚合/Shuffle内存累积：SQL中的HashAggregate和Exchange操作会在内存中维护哈希表与中间数据，即使单批次数据量小，多次运行后未及时回收的内存会持续累积，触发GC过载。

解决方法 #

一、代码优化 #

复用单一SparkSession实例，执行完SQL后显式清理资源：

// 全局初始化一次SparkSession，避免重复创建
val spark = SparkSession.builder()
  .appName("PeriodicPartitionInsert")
  .getOrCreate()

new Thread(new Runnable {
  override def run(): Unit = {
    while (true) {
      try {
        spark.sql(sparksql)
        // 清理Spark缓存的表或DataFrame
        spark.catalog.clearCache()
      } catch {
        case e: Exception => e.printStackTrace()
      } finally {
        // 可选：定时触发GC（仅作为辅助手段，核心还是资源回收）
        System.gc()
      }
      // 修正为10分钟间隔（原代码为2分钟）
      Thread.sleep(600000)
    }
  }
}).start()

scala.io.StdIn.readLine()
// 程序退出时关闭SparkSession
spark.stop()

二、Spark与JVM配置调整 #

1. JVM GC参数优化

提交任务时添加Driver端GC参数，提升GC效率：

--driver-java-options "-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:G1HeapRegionSize=16m -XX:-UseGCOverheadLimit"

• -XX:+UseG1GC：采用G1垃圾收集器，适合长期运行的服务型任务，平衡GC停顿与内存回收效率。
• -XX:MaxGCPauseMillis=200：限制GC最大停顿时间为200毫秒，避免长时间GC阻塞任务。
• -XX:G1HeapRegionSize=16m：设置G1堆区域大小，适配中等规模堆内存（可根据实际Driver内存调整）。
• -XX:-UseGCOverheadLimit：临时关闭GC过载限制（建议配合资源回收优化使用，避免掩盖内存泄漏）。

2. Spark内存配置

调整Driver与Executor内存分配，避免内存不足：

--driver-memory 4g --executor-memory 2g --executor-cores 2

• --driver-memory：增大Driver内存，因为Driver需长期维护任务状态与执行计划，定时场景需预留足够内存。
• --executor-memory：根据单批次数据量调整，1000条数据场景下2g足够，若聚合操作复杂可适当增加。

3. Spark SQL专项优化

针对SQL中的聚合与Shuffle操作优化内存占用：

// 在SparkSession初始化时配置
spark.conf.set("spark.sql.shuffle.partitions", "10") // 减少shuffle分区数（默认200，小数据量设为10-20）
spark.conf.set("spark.sql.autoBroadcastJoinThreshold", "10485760") // 10MB阈值，小表自动广播避免shuffle
spark.conf.set("spark.sql.execution.arrow.enabled", "true") // 启用Arrow格式，优化内存存储效率

内容的提问来源于stack exchange，提问作者Rahul Patidar