Databricks同一集群下各Notebook独立Spark配置可行性问询

可以实现同一集群上不同Notebook的Spark配置隔离，以下是可行的解决方法：

• 显式创建独立Spark Session
  不要依赖集群默认的spark对象，而是通过SparkSession.builder为每个Notebook构建专属的Session，在构建时注入该Notebook需要的配置。这样每个Session相互独立，修改配置不会影响其他Notebook。示例代码：

  from pyspark.sql import SparkSession
  
  # 创建专属Spark Session，自定义配置
  custom_spark = SparkSession.builder \
      .appName("Notebook-Exclusive-Session") \
      .config("spark.executor.memory", "4g") \
      .config("spark.sql.shuffle.partitions", 100) \
      .getOrCreate()
  
  # 使用custom_spark执行所有操作，替代默认的spark对象
  df = custom_spark.read.format("delta").load("/path/to/data")
  

• 通过Databricks Jobs配置任务专属参数
  如果你的Notebook是作为调度任务运行的，在创建Job任务时，找到"Spark配置"选项，直接填入该任务需要的Spark参数（比如spark.executor.memory 4g）。任务运行时会自动应用这些配置，与同一集群上的其他任务完全隔离，无需在Notebook内修改配置。

• 禁止修改全局SparkContext配置
  不要使用spark.conf.set()修改全局配置，这类操作会作用于集群级别的SparkContext，导致所有共享Session的配置同步变更。坚持使用独立Session或Job参数配置的方式实现隔离。

补充：spark.databricks.session.share=false仅控制Session是否共享，但默认的spark对象仍会复用集群的基础配置。只有显式创建新Session，才能完全实现配置的独立隔离。

内容的提问来源于stack exchange，提问作者Naveen Balachandran