Spark结构化流应用foreachBatch块缓存时内存泄漏问题排查

1. foreachBatch内意外触发SparkSession创建 #

在Spark 3.1.1中，如果foreachBatch代码块内的逻辑间接调用了SparkSession.getOrCreate()（比如某些需要隐式Session的API、自定义UDF或第三方库内部逻辑），缓存操作会放大这个问题——每次batch执行时都会创建新的Session实例，而非复用流应用的主Session。即使你手动执行了unpersist，Session对象的引用可能因上下文绑定无法被及时回收，最终导致内存泄漏。

2. 缓存与Session上下文的绑定异常 #

Spark的缓存RDD会关联到创建它的SparkContext（底层绑定SparkSession）。如果foreachBatch内的缓存操作是在子线程、独立代码块中执行，或者代码逻辑没有显式复用主Session，可能会意外创建新的Session实例。比如在缓存后的数据处理流程中，若代码没有明确指定使用主Session，就会触发新Session的创建，且每个batch重复这个过程。

3. Spark 3.1.1的已知版本bug #

Spark 3.1.x分支存在部分与结构化流foreachBatch、Session管理相关的已知bug，涉及流处理中Session复用异常的问题，会导致缓存操作触发大量Session实例创建，即使执行了unpersist也无法解决对象堆积。

4. AKS部署的资源与类加载问题 #

在AKS容器环境中：

• 若driver进程的JVM堆内存不足、GC配置不合理，会导致Session对象无法被及时回收，堆积在内存中；
• 容器的资源限制（如内存配额不足）会加剧内存压力，阻碍GC正常工作；
• 类加载器隔离问题可能导致Session实例的引用无法被正确释放，进而引发内存泄漏。

排查与修复建议 #

• 检查foreachBatch代码，确保所有依赖Session的操作都复用流应用初始化时创建的主Session，避免调用SparkSession.getOrCreate()；若必须调用，需先判断是否已有可用Session。
• 排查自定义UDF、第三方库的内部逻辑，确认是否存在隐式创建新Session的情况。
• 升级Spark版本至3.1.3（3.1.x分支的最新补丁版）或直接升级到3.2+，修复已知的Session管理bug。
• 调整AKS中driver的JVM参数（如增大堆内存、优化GC策略），并确保容器资源配额满足应用需求，避免内存压力导致对象无法回收。

内容的提问来源于stack exchange，提问作者Venus