Databricks在SQL/JDBC中使用Secrets参数触发ParseError的解决方法

问题根源 #

直接在SQL语句或spark.sql()中调用dbutils.secrets.get会触发两个问题：一是SQL解析器无法识别Python的dbutils API，二是Databricks会自动脱敏Secrets内容，导致拼接的JDBC URL或凭证被替换为[REDACTED]，最终触发语法解析错误。

可行解决方案 #

方法1：通过Spark配置传递Secrets

先在Python单元格中将Secrets值存入Spark全局配置，再在SQL中通过${配置名}引用，完全避开直接在SQL中暴露Secrets：

# Python单元格：将Secrets写入Spark配置
spark.conf.set("rds.host", dbutils.secrets.get(scope="你的密钥范围", key="rds-host"))
spark.conf.set("rds.port", dbutils.secrets.get(scope="你的密钥范围", key="rds-port"))
spark.conf.set("rds.db", dbutils.secrets.get(scope="你的密钥范围", key="rds-db"))
spark.conf.set("rds.user", dbutils.secrets.get(scope="你的密钥范围", key="rds-user"))
spark.conf.set("rds.password", dbutils.secrets.get(scope="你的密钥范围", key="rds-password"))

-- SQL单元格：引用Spark配置参数建立JDBC连接
SELECT * FROM jdbc 
OPTIONS (
  url = 'jdbc:mysql://${rds.host}:${rds.port}/${rds.db}',
  dbtable = '目标表名',
  user = '${rds.user}',
  password = '${rds.password}',
  driver = 'com.mysql.cj.jdbc.Driver'
)

也可以在Python中用spark.sql()调用上述SQL语句，效果一致。

方法2：创建临时视图封装JDBC连接

在Python中用Secrets读取RDS数据并注册为临时视图，后续SQL直接查询视图即可，无需再处理凭证：

# Python单元格：读取RDS数据并创建临时视图
jdbc_url = f"jdbc:mysql://{dbutils.secrets.get('你的密钥范围', 'rds-host')}:{dbutils.secrets.get('你的密钥范围', 'rds-port')}/{dbutils.secrets.get('你的密钥范围', 'rds-db')}"
conn_props = {
  "user": dbutils.secrets.get('你的密钥范围', 'rds-user'),
  "password": dbutils.secrets.get('你的密钥范围', 'rds-password'),
  "driver": "com.mysql.cj.jdbc.Driver"
}

rds_df = spark.read.jdbc(url=jdbc_url, table="目标表名", properties=conn_props)
rds_df.createOrReplaceTempView("rds_temp_view")

-- SQL单元格：直接查询临时视图
SELECT * FROM rds_temp_view

方法3：Databricks SQL专属语法（仅SQL Warehouse）

如果使用Databricks SQL Warehouse或SQL查询编辑器，可直接用{{secrets/密钥范围/密钥名}}语法在SQL中引用Secrets，无需Python代码：

SELECT * FROM jdbc 
OPTIONS (
  url = 'jdbc:mysql://{{secrets/你的密钥范围/rds-host}}:{{secrets/你的密钥范围/rds-port}}/{{secrets/你的密钥范围/rds-db}}',
  dbtable = '目标表名',
  user = '{{secrets/你的密钥范围/rds-user}}',
  password = '{{secrets/你的密钥范围/rds-password}}',
  driver = 'com.mysql.cj.jdbc.Driver'
)

注意：该语法仅在Databricks SQL环境生效，Notebook的SQL单元格不支持。

内容的提问来源于stack exchange，提问作者Eugenio.Gastelum96