PySpark中修改会话配置后停止SparkContext的原因解析

• Spark核心配置的生效限制：
  SparkContext（SC）是Spark应用的核心执行上下文，大部分资源类配置（比如spark.executor.memory、spark.cores.max、spark.driver.memory）属于静态配置——只有在SC初始化启动时才会加载生效。运行时通过_conf.setAll()修改的只是配置对象本身，当前正在运行的SC不会读取这些新配置，相当于做了无用功。

• SparkSession.builder.getOrCreate()的复用逻辑：
  getOrCreate()方法的核心逻辑是：如果当前JVM中已经存在活跃的SparkContext，就直接复用对应的SparkSession；只有当没有活跃SC时，才会根据builder的配置创建新的SC和Session。所以如果不停止旧的SC，即使你传入新的conf对象调用getOrCreate()，它还是会复用旧的SC，新配置根本不会生效。

• 代码中的操作必要性：
  你提供的代码里，先从旧Session获取配置对象并修改，然后停止旧SC，再用新配置重新创建Session——这是因为：

  1. 修改后的conf对象只是个"配置模板"，必须绑定到新启动的SC上才能生效；
  2. 同一JVM中同一时间只能存在一个活跃的SparkContext，必须先停止旧的，才能启动新的SC来加载新配置。

举个实际的例子：如果去掉spark.sparkContext.stop()这行，最后打印的spark.cores.max还是旧Session的配置值，不会变成代码里设置的4——因为新创建的Session复用了旧的SC，根本没用到新的conf。

内容的提问来源于stack exchange，提问作者Jai Barathi