Databricks Spark配置：能否在属性名中引用Secret？

Databricks Secret仅能用于Spark配置的属性值，绝对不能在属性名里引用。

原因说明 #

Databricks的Secret插值机制只对配置值生效，属性名会被直接当作原始字符串处理，不会解析其中的{{secrets/...}}占位符。你写的配置里，属性名会被原样识别为fs.azure.account.auth.type.{{secrets/my_scope/my_secret1}}.dfs.core.windows.net，而不是替换成实际的存储账户名，这就导致Spark无法匹配到正确的存储账户配置，进而触发Invalid configuration value detected for fs.azure.account.key错误——本质是Spark找不到对应存储账户的有效密钥配置项。

正确用法示例 #

1. 通过代码动态生成配置（推荐用于多存储账户场景）
   在Notebook或Job脚本中先获取Secret值，再拼接成完整的配置属性名：

   # 获取存储账户名Secret
   storage_account_1 = dbutils.secrets.get("my_scope", "my_secret1")
   storage_account_2 = dbutils.secrets.get("my_scope", "my_secret2")
   
   # 设置认证类型配置
   spark.conf.set(f"fs.azure.account.auth.type.{storage_account_1}.dfs.core.windows.net", "OAuth")
   spark.conf.set(f"fs.azure.account.auth.type.{storage_account_2}.dfs.core.windows.net", "OAuth")
   
   # 补充其他OAuth相关配置（密钥等用Secret填充值）
   spark.conf.set(f"fs.azure.account.oauth2.client.id.{storage_account_1}.dfs.core.windows.net", dbutils.secrets.get("my_scope", "client_id"))
   

2. 集群静态配置（单存储账户场景）
   如果是在集群的Spark选项里配置，属性名必须写明确的存储账户名，Secret只用于属性值：

   fs.azure.account.auth.type.mystorage.dfs.core.windows.net OAuth
   fs.azure.account.oauth2.client.id.mystorage.dfs.core.windows.net {{secrets/my_scope/client_id}}
   

针对你的报错排查方向 #

先立刻修正属性名的写法，放弃在属性名里引用Secret的尝试，改用上面的正确方式配置。修正后如果仍报错，再排查：

• Secret是否有正确的权限（集群服务主体能访问对应的Secret Scope）
• OAuth相关的其他配置项（比如client secret、tenant ID）是否完整且正确

内容的提问来源于stack exchange，提问作者x-platformcoder