SparkSession.stop()用法是否正确？如何仅停止SparkSession而非SparkContext？

当前停止方式是否正确？ #

这取决于你的应用场景：

• 场景1：应用仅使用该SparkSession且执行后不再需要Spark功能
  这种写法是合理的。finally块能确保无论_process执行过程中是否出现异常，spark_session.stop()都会被调用，从而停止底层SparkContext，避免资源泄漏。
• 场景2：后续代码仍需使用该SparkSession，或SparkContext被其他会话共享
  这种写法不正确。因为spark_session.stop()会直接停止底层的SparkContext，导致所有关联该SparkContext的SparkSession都无法再执行任何Spark操作，后续代码会抛出异常。

仅停止SparkSession的方法是什么？ #

Spark提供了spark_session.close()方法，其行为根据SparkSession是否为SparkContext的创建者而不同：

• 如果该SparkSession是创建底层SparkContext的会话：close()会同时停止SparkContext，效果和stop()一致。
• 如果该SparkSession是复用已有SparkContext创建的（比如通过getOrCreate()关联了已存在的上下文）：close()只会关闭当前SparkSession本身，释放它持有的资源（如临时视图、注册的UDF等），不会停止底层的SparkContext，其他关联该上下文的SparkSession仍可正常使用。

如果你的需求是仅关闭当前SparkSession而保留SparkContext，优先使用close()而非stop()。

更合理的资源管理建议 #

如果_process只是业务处理函数，不应该承担资源终止的职责，更合适的做法是将SparkSession的生命周期管理交给调用方（即main.py）：

修改process.py：

def _process(spark_session):
    try:
        # Some code here
    except:
        # some code here
    # 移除finally中的stop/close逻辑

修改main.py：

spark_session = SparkSession.builder.master('local[*]').getOrCreate()
try:
    process._process(spark_session)
finally:
    # 根据需求选择stop()或close()
    spark_session.stop()

这种方式符合单一职责原则，避免子函数意外终止外部依赖的Spark资源。

内容的提问来源于stack exchange，提问作者ARIJIT SINGH