如何通过pyspark.sql.SparkSession.builder.config设置Databricks的Catalog与Database？

使用builder.config()无效的尝试 #

我尝试通过pyspark.sql.SparkSession.builder.config()配置默认Catalog和Database，但未生效，代码示例如下：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("config_test") \
    .config(map={"spark.sql.defaultCatalog": "test_catalog", "spark.sql.catalog.spark_catalog.defaultDatabase": "test_db"}) \
    .getOrCreate()
spark.catalog.currentCatalog() # 返回"hive_metastore"
spark.catalog.currentDatabase() # 返回"default"

使用session.catalog方法可正常生效 #

以下代码能按预期设置默认Catalog和Database，但我希望通过Spark配置实现该操作：

spark = SparkSession.builder \
    .appName("without_config_test") \
    .getOrCreate()
spark.catalog.setCurrentCatalog("test_catalog")
spark.catalog.setCurrentDatabase("test_db")
spark.catalog.currentCatalog() # 返回"test_catalog"
spark.catalog.currentDatabase() # 返回"test_db"

Databricks环境运行截图 #

（环境：Databricks 15.4 LTS，Spark 3.5.0）

解决方案：使用正确的Spark配置项 #

可以通过Spark配置实现Session创建时直接设置默认Catalog和Database，你之前的问题是用错了配置项：

1. 正确的配置项说明 #

• spark.sql.defaultCatalog：设置Session的默认Catalog，该配置项本身正确，需确保配置时机合理。
• spark.sql.defaultDatabase：设置当前默认Catalog下的默认数据库，而非spark.sql.catalog.spark_catalog.defaultDatabase（后者仅用于修改spark_catalog这个特定Catalog的默认库）。

2. 修正后的代码示例 #

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("config_test_fixed") \
    .config("spark.sql.defaultCatalog", "test_catalog") \
    .config("spark.sql.defaultDatabase", "test_db") \
    .getOrCreate()
spark.catalog.currentCatalog() # 返回"test_catalog"
spark.catalog.currentDatabase() # 返回"test_db"

3. Databricks环境的特殊注意事项 #

如果在Databricks笔记本中使用上述代码仍未生效，可能是集群默认配置覆盖了Session builder的设置，此时可以：

• 在集群的Spark配置中添加以下参数：

  spark.sql.defaultCatalog test_catalog
  spark.sql.defaultDatabase test_db
  

• 或者在Session创建前先设置全局配置：

  from pyspark.sql import SparkSession
  # 获取全局配置对象（确保Session尚未创建）
  spark_conf = SparkSession.builder.getOrCreate().conf
  spark_conf.set("spark.sql.defaultCatalog", "test_catalog")
  spark_conf.set("spark.sql.defaultDatabase", "test_db")
  # 重新创建Session
  spark = SparkSession.builder \
      .appName("config_with_global_conf") \
      .getOrCreate()
  

内容的提问来源于stack exchange，提问作者Mark Druffel