Spark批处理作业内存持续增长且无法释放问题求助

问题定位分析 #

你的堆转储结果明确指向org.apache.spark.unsafe.memory.HeapMemoryAllocator关联的java.util.LinkedList占据了90%左右的堆内存，这里需要纠正初始判断：这是堆内内存未释放，而非堆外内存问题。HeapMemoryAllocator是Spark用于堆内内存分配的实现，其内部通过LinkedList缓存内存块以提升分配效率，但作业结束后这些缓存的内存块未被回收，导致堆内存无法回落。

排查与解决步骤 #

1. 确保SparkContext彻底关闭 #

批处理作业结束后，必须显式调用sparkContext.stop()，同时检查是否存在静态引用或全局变量持有SparkContext相关对象。若SparkContext未被正确关闭，其内部的内存分配器缓存（包括HeapMemoryAllocator的LinkedList）会一直被持有，无法被GC回收。

2. 调整HeapMemoryAllocator缓存配置 #

Spark的HeapMemoryAllocator默认会缓存内存块，可通过以下配置限制或禁用缓存：

• 禁用内存块缓存：设置spark.memory.heapAllocator.cacheSize=0，强制Allocator不再缓存内存块，作业结束后内存可被GC正常回收。
• 缩小缓存上限：若不想完全禁用缓存，可将spark.memory.heapAllocator.cacheSize设置为较小值（如100），限制缓存的内存块数量。

3. 清理广播变量与累加器 #

即使Spark UI的Storage标签无缓存RDD，广播变量、累加器或其他Spark内部对象仍可能持有内存引用。作业结束后，需确保所有广播变量调用destroy()方法，清除相关引用。

4. 优化JVM GC配置 #

确认Pod的JVM GC参数合理，例如使用G1GC并设置合适的回收阈值，可添加以下JVM参数：

-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+ExplicitGCInvokesConcurrent

确保作业结束后触发Full GC时，能有效回收堆内的缓存内存块。

5. 采用作业Pod隔离方案 #

由于作业间隔12小时，可配置Kubernetes Job控制器在每批作业完成后销毁Pod，下一批作业重新创建新Pod，从根本上避免内存累积问题。

内容的提问来源于stack exchange，提问作者codeluv