Databricks到Azure存储账户及容器的细粒度权限控制方案咨询

核心可行方案 #

可以通过Azure RBAC与Databricks工作区权限结合的方式，既满足服务主体访问要求，又实现用户/角色级别的差异化权限，以下是具体落地方式：

1. 多服务主体+容器/文件夹级RBAC+Databricks挂载权限控制 #

• 存储组织：优先采用「单存储账户+多容器/子文件夹」的结构，规避256个存储账户的上限，按数据集权限需求划分容器或子文件夹。
• 服务主体与RBAC配置：创建多个服务主体，每个对应一组权限（如营销数据集只读、财务数据集读写），给这些服务主体在ADLS Gen2的容器或子文件夹级别分配对应RBAC角色（如Storage Blob Data Reader、Storage Blob Data Contributor）——权限可精确到容器甚至子文件夹，无需局限于存储账户级别。
• Databricks权限绑定：将服务主体凭据配置为专用挂载点，而非全局挂载：
  示例挂载命令：

  dbutils.fs.mount(
    source = "abfss://marketing-container@mystorage.dfs.core.windows.net/",
    mount_point = "/mnt/marketing-data",
    extra_configs = {"fs.azure.account.auth.type": "OAuth",
                     "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
                     "fs.azure.account.oauth2.client.id": "<sp-client-id>",
                     "fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope="my-secret-scope", key="marketing-sp-secret"),
                     "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/<tenant-id>/oauth2/token"})
  

  挂载完成后，设置挂载点的访问权限，仅授权给指定Databricks角色/用户：

  dbutils.fs.permissions("/mnt/marketing-data", "grant", "marketing-team-role", "READ")
  

2. Unity Catalog一站式权限管控（推荐） #

如果使用Databricks Unity Catalog，可简化权限管理流程：

• 用一个主服务主体给Unity Catalog授予ADLS Gen2的根权限（如Storage Blob Data Contributor到存储账户或根容器）。
• 在Unity Catalog中注册ADLS的容器/子文件夹为外部位置（External Location），基于这些位置创建目录、模式与外部表。
• 直接通过Unity Catalog的RBAC系统，给Databricks用户或角色分配目录/模式/表的权限（如SELECT、MODIFY），系统会自动映射底层存储的权限，确保用户仅能访问被授权的数据集。

权限粒度说明 #

权限控制可以精确到容器级别，甚至子文件夹/文件级别：

• Azure RBAC支持将Storage Blob Data Reader/Contributor等角色直接分配到容器、子文件夹（通过Blob容器的路径筛选器），无需绑定到整个存储账户。
• 结合Databricks的挂载权限或Unity Catalog权限后，最终可实现用户/角色只能访问对应权限范围内的数据集。

内容的提问来源于stack exchange，提问作者oebb-pv-cg