Databricks集群Spark配置中设置默认数据库无效问题求助

问题根源 #

你直接把spark.catalog.setCurrentDatabase dbname放到集群Spark配置里是行不通的——这是Spark API的调用语句，不是Spark配置参数，集群只会把它当成普通字符串存储，不会执行，所以自然不会生效。

解决方案1：用Spark内置配置参数（推荐） #

Spark 3.0及以上版本（对应Databricks Runtime 7.0+）提供了spark.sql.init.command参数，能让SparkSession初始化时自动执行指定SQL命令。只需在集群的Spark配置中添加一行：

spark.sql.init.command=USE your_database_name;

这个配置会在每个Notebook、Job或Spark应用启动时自动执行USE命令，全局设置默认数据库，无需手动在Notebook里执行代码。如果需要先确保数据库存在，可以改成：

spark.sql.init.command=CREATE DATABASE IF NOT EXISTS your_database_name; USE your_database_name;

解决方案2：用集群初始化脚本 #

如果你的Databricks Runtime版本较低，不支持上面的参数，可以用集群初始化脚本在Driver启动时执行API调用：

1. 写一个bash脚本（比如set-default-db.sh），内容如下：

#!/bin/bash
# 生成Scala代码文件
cat > /tmp/set_default_db.scala << 'EOF'
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder().getOrCreate()
spark.catalog.setCurrentDatabase("your_database_name")
spark.stop()
EOF
# 执行脚本，完成数据库设置
/databricks/spark/bin/spark-shell --file /tmp/set_default_db.scala --master local[*] > /dev/null 2>&1

2. 把脚本上传到DBFS路径，比如dbfs:/databricks/init/set-default-db.sh
3. 在集群配置的「初始化脚本」部分添加这个DBFS路径，保存后重启集群即可。

注意事项 #

• 要确保指定的数据库在集群启动前已经存在，或者用CREATE DATABASE IF NOT EXISTS语句提前创建
• 确认集群运行的服务账号有访问目标数据库的权限，避免权限问题导致设置失败

内容的提问来源于stack exchange，提问作者adrihernandez