Azure Databricks集群挂载ADLS2后GUI无法访问是否需Premium版本?
首先明确结论:该场景不需要使用Premium层级的Azure Databricks资源,标准层级即可支持通过GUI访问挂载的ADLS Gen2存储,你遇到的报错是集群全局凭证配置缺失导致的。
报错原因
你通过notebook执行dbutils.fs.mount挂载存储时,使用的是当前notebook会话下配置的服务主体凭证,这类凭证仅对当前会话生效。而Databricks GUI的存储浏览功能调用的是集群全局的Spark配置凭证,不会读取单个notebook会话的配置信息,因此会提示凭证不足。
解决步骤
- 确认你挂载所用的服务主体已获得目标ADLS Gen2存储账户的对应权限,推荐授予存储Blob数据贡献者角色
- 打开你使用的集群
easy-matches-cluster-001的配置页面,找到Spark配置项,添加以下配置内容,替换尖括号内的对应参数:
fs.azure.account.auth.type.<存储账户名>.dfs.core.windows.net OAuth fs.azure.account.oauth.provider.type.<存储账户名>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider fs.azure.account.oauth2.client.id.<存储账户名>.dfs.core.windows.net <服务主体客户端ID> fs.azure.account.oauth2.client.secret.<存储账户名>.dfs.core.windows.net <服务主体客户端密钥> fs.azure.account.oauth2.client.endpoint.<存储账户名>.dfs.core.windows.net https://login.microsoftonline.com/<Azure租户ID>/oauth2/token
- 保存配置后重启集群,重新执行挂载操作,即可通过GUI正常浏览挂载的存储内容。
关于Premium层级的说明
只有当你使用Unity Catalog管理外部存储资源时,才需要Databricks Premium层级支持,传统的dbutils挂载方式不受层级限制。
内容的提问来源于stack exchange,提问作者Andrés Bustamante
相关产品推荐
相关产品推荐

