PySpark退出会话即停止底层Spark Context的设计原因是什么？

核心问题说明 #

SparkSession和SparkContext的架构设计决定了：所有SparkSession实例（包括newSession()创建的副本）底层共享全局唯一的SparkContext，这一点是你已经明确的前提。
PySpark的SparkSession上下文管理器设计确实存在和常规认知不符的地方：

• newSession()创建的是轻量级会话副本，仅隔离会话级配置、当前数据库、临时视图等状态，底层完全依赖全局SparkContext，本不该在销毁时影响全局资源
• 但当前PySpark版本的SparkSession__exit__方法没有区分实例是根会话还是衍生的子会话，只要触发上下文退出就会调用sparkContext.stop()方法，而stop()作用的是全局唯一的SparkContext，直接导致整个集群的执行上下文终止，这就是你代码运行后集群直接挂掉的直接原因。

设计逻辑偏差说明 #

你对上下文管理器的使用预期是符合常规Python设计逻辑的，问题在于PySpark的SparkSession上下文管理器的设计初衷，是服务于独立Python脚本中单根SparkSession的场景：即用户自己调用SparkSession.builder.getOrCreate()初始化根实例，用with包裹保证脚本结束后彻底释放所有集群资源，并没有考虑newSession()衍生临时会话的使用场景，属于设计上的考虑不周。

正确使用方案 #

• 不要给newSession()创建的临时会话套with上下文管理器，这类轻量会话用完不需要主动清理，实例被GC回收时不会影响底层SparkContext
• 如果需要保证会话状态不泄露，操作完成后可以手动重置会话配置，或者直接丢弃临时会话实例即可
• 仅在本地/独立脚本自行初始化根SparkSession，且需要在脚本结束后完全释放集群资源时，才适合用with上下文管理器包裹根实例
• Databricks环境会全局预初始化唯一的SparkContext和根SparkSession，整个Notebook生命周期内不要调用任何stop()相关逻辑，否则都会触发集群会话终止。

内容的提问来源于stack exchange，提问作者Marti Nito