SparkSession未关闭会造成哪些问题？相关使用及资源占用问题咨询

1. 标准使用场景下是否需要主动关闭SparkSession？ #

• 交互式场景（spark-shell、PySpark shell、各类数据开发Notebook）无需主动关闭，会话所属进程退出时会自动完成资源回收。
• 独立运行的批处理作业、常驻式调度服务、同一进程内需要创建多个SparkSession的场景，建议在使用完成后主动调用spark.stop()方法关闭，避免上下文冲突和资源残留。

2. 每次使用后SparkSession都会停止，且重新连接需要数秒时间，该情况是否属于正常现象？ #

属于完全正常的现象：

• SparkSession销毁时会同步释放关联的SparkContext、集群连接、所有Executor资源、内存中缓存的数据集。
• 重建SparkSession需要重新向集群管理器申请资源、启动Executor进程、初始化运行时上下文，根据集群规模和资源调度负载不同，耗时几秒到几十秒都属于正常范围。
• 如果有高频使用需求，建议复用同一个SparkSession实例，避免反复销毁重建带来的额外开销。

3. 若不主动停止SparkSession，是否会持续占用相关资源，甚至引发内存泄漏问题？ #

• 只要SparkSession所属的进程未退出，未关闭的SparkSession会持续占用它申请的全部资源，包括Driver端的内存、CPU资源，以及集群侧分配的所有Executor的计算、存储资源。
• 内存泄漏的风险仅存在于常驻进程场景：比如长期运行的接口服务、定时调度进程，每次处理任务都创建新的SparkSession却不主动关闭，旧实例关联的内存资源无法被GC回收，会持续累积最终触发OOM。如果是单次运行的批处理作业，进程执行完成后直接退出的情况下，就算不主动关闭SparkSession，所有资源也会被操作系统自动回收，不会出现内存泄漏问题。

内容的提问来源于stack exchange，提问作者jieszzz