创建SparkSession后用spark.conf.set()更新属性是否安全？

问题场景 #

我运行了如下Scala代码：

val spark = SparkSession.builder().master("local").getOrCreate()

spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")

val partitionMode1 = spark.conf.get("spark.sql.sources.partitionOverwriteMode")
print(s"Partitioning: $partitionMode1")

val partitionMode2 = spark.sparkContext.getConf.get("spark.sql.sources.partitionOverwriteMode")
print(s"Partitioning: $partitionMode2")

运行时抛出了如下错误：

Exception in thread "main" java.util.NoSuchElementException: spark.sql.sources.partitionOverwriteMode
        at org.apache.spark.SparkConf.$anonfun$get$1(SparkConf.scala:245)
        at scala.Option.getOrElse(Option.scala:189)

同时在Spark UI的Environment页面中也找不到partitionOverwriteMode属性。我知道可以在构建SparkSession时直接配置该属性：

val spark = SparkSession.builder().config("spark.sql.sources.partitionOverwriteMode", "dynamic").master("local").getOrCreate()

但我的需求是在SparkSession创建完成后再设置这个配置，想知道使用spark.conf.set()更新这类属性是否安全？

解答 #

1. 报错原因说明
   SparkContext的SparkConf是不可变对象，一旦SparkSession（及底层SparkContext）创建完成，就无法修改SparkConf中的配置项。而spark.conf.set()设置的配置是存储在SparkSession的SQL执行环境中，只会作用于该SparkSession的SQL相关操作，不会同步到底层的SparkConf里。所以代码中用spark.sparkContext.getConf.get()获取该属性时，自然会抛出找不到配置项的异常。

2. spark.conf.set()设置该属性的安全性
   对于spark.sql.sources.partitionOverwriteMode这类SQL专属的配置项，在SparkSession创建后使用spark.conf.set()是安全且有效的：

• 该配置会正确应用到后续基于此SparkSession的所有SQL操作中，比如动态分区覆盖的逻辑会按照设置的dynamic模式执行。
• 你可以通过spark.conf.get()验证配置是否生效（就像代码中的partitionMode1，能正常获取到设置的dynamic值）。
• Spark UI的Environment页面展示的是SparkContext层面的全局配置，而这个参数属于SparkSession的SQL环境配置，所以不会在UI中显示，但这不影响它的实际生效。

总结：只要后续的业务操作是基于当前这个SparkSession执行SQL相关任务，用spark.conf.set()设置该属性完全能满足需求，不存在安全问题。

内容的提问来源于stack exchange，提问作者Finkelson