如何在Databricks查询中正确使用Spark配置变量？

集群已配置默认目录，Spark配置中可见：

default_catalog = dev_catalog

确认表dev_catalog.bronze.test_table存在，直接指定全路径可正常查询：

• SQL查询：

  SELECT * FROM dev_catalog.bronze.test_table
  

• Python查询：

  spark.sql("SELECT * FROM dev_catalog.bronze.test_table")
  

在Notebook中可成功获取该配置变量：

default_catalog = spark.conf.get("default_catalog")
# 输出结果：dev_catalog

但尝试通过变量引用查询时出现错误：

1. Python中使用f-string拼接查询：

   print(default_catalog)
   spark.sql(f"SELECT * FROM {default_catalog}.bronze.test_table")
   

   报错信息：

   dev_catalog
   [TABLE_OR_VIEW_NOT_FOUND] The table or view `dev_catalog`.`bronze`.`test_table` cannot be found.  Verify the spelling and correctness of the schema and catalog.
   If you did not qualify the name with a schema, verify the current_schema() output, or qualify the name with the correct schema and catalog.
   To tolerate the error on drop use DROP VIEW IF EXISTS or DROP TABLE IF EXISTS. SQLSTATE: 42P01
   

2. SQL中直接引用变量：

   SELECT * FROM ${default_catalog}.bronze.test_table
   

   报错信息：

   [PARSE_SYNTAX_ERROR] Syntax error at or near '.'. SQLSTATE: 42601
   

Python 场景 #

方法1：用反引号包裹标识符 #

拼接查询时，给目录名加上反引号，确保Spark能正确解析标识符：

spark.sql(f"SELECT * FROM `{default_catalog}`.bronze.test_table")

方法2：设置会话默认目录 #

直接将获取到的变量设置为当前会话的默认目录，后续查询可省略目录名：

spark.conf.set("spark.sql.catalog", default_catalog)
spark.sql("SELECT * FROM bronze.test_table")

方法3：使用字符串format方法 #

和f-string效果一致，写法更兼容：

spark.sql("SELECT * FROM `{}`.bronze.test_table".format(default_catalog))

SQL 场景 #

方法1：引用Spark配置变量 #

在%sql魔法命令中，引用Spark配置的变量需要用${conf:变量名}格式：

SELECT * FROM ${conf:default_catalog}.bronze.test_table

方法2：传递Python变量到SQL #

先在Python中把变量设置为Spark配置参数，再在SQL中引用：

default_catalog = spark.conf.get("default_catalog")
spark.sql(f"SET default_catalog = {default_catalog}")

之后执行SQL查询：

SELECT * FROM ${default_catalog}.bronze.test_table

内容的提问来源于stack exchange，提问作者mizzlosis