如何为DatabricksSession添加自定义Spark配置？

问题原因 #

DatabricksSession的Builder和标准SparkSession的Builder不是一回事——它没有config(key, value)这个方法，直接调用会报AttributeError；另外你之前把配置加到Config对象里但没生效，大概率是因为没把配置正确关联到会话的构建流程里。

解决方法 #

按以下步骤修改你的代码，就能沿用之前的配置合并逻辑：

1. 导入正确的类
   先导入Databricks SDK里的DatabricksSession和Config：

   from databricks.sdk.runtime import DatabricksSession, Config
   

2. 合并配置字典
   继续用你之前的合并逻辑，把默认配置和自定义配置合并成一个字典：

   config_dict = {**self.DEFAULT_CONFIG, **spark_config}
   

3. 配置Config对象
   创建Config实例，把合并后的配置批量导进去，或者逐个设置：

   # 批量导入（更省事）
   spark_config_obj = Config()
   spark_config_obj.update(config_dict)
   
   # 或者逐个设置（适合需要额外处理的场景）
   spark_config_obj = Config()
   for key, value in config_dict.items():
       spark_config_obj.set(key, value)
   

4. 用Config构建会话
   通过Builder的config方法把配置对象传进去，再创建会话：

   self._spark = DatabricksSession.builder.config(spark_config_obj).getOrCreate()
   

额外提醒 #

• 像spark.driver.extraJavaOptions这种属于JVM启动参数的配置，必须在会话启动前设置，而且有些配置受Databricks集群的全局配置限制，代码改不了。如果设置后查不到，先确认这个配置是否允许在会话级别修改。
• 验证配置是否生效可以用这两行代码：

  # 查单个配置
  print(self._spark.conf.get("spark.driver.extraJavaOptions"))
  # 列所有配置
  for k, v in self._spark.conf.getAll():
      print(f"{k}: {v}")
  

内容的提问来源于stack exchange，提问作者Steven