能否为Azure Databricks新建集群与Jobs自动分配权限至用户组？

可行实现方式 #

Azure Databricks原生没有内置的默认权限模板功能，但可以通过以下两种可靠方式实现新建集群、Jobs的权限自动配置：

1. 基于Terraform的基础设施即代码（IaC）方案 #

将集群、Jobs的创建与权限配置绑定，通过Terraform标准化部署流程，确保新组件创建时自动赋予指定用户组权限：

• 在定义集群或Jobs资源的同时，添加databricks_permissions资源块，指定目标用户组和所需权限（如CAN_MANAGE、CAN_MANAGE_RUN）
• 示例代码片段：

# 定义示例Job
resource "databricks_job" "sample_job" {
  name = "daily-etl-job"
  # 此处填写Job的具体配置（任务类型、集群、调度等）
}

# 为该Job绑定用户组权限
resource "databricks_permissions" "job_access" {
  job_id = databricks_job.sample_job.id
  access_control {
    group_name = "etl-admin-group"
    permission_level = "CAN_MANAGE"
  }
}

• 优势：权限配置与组件部署强关联，完全自动化，无手动操作遗漏风险，适合标准化的生产环境。

2. API + 事件触发自动化方案 #

通过监听Databricks组件创建事件，或定期轮询最新资源，自动调用权限API为新组件配置权限：

• 操作步骤：
  • 搭建Azure Function或Logic Apps作为自动化载体，设置触发器监听Databricks的cluster_created/job_created事件（或定时查询最近创建的资源）
  • 在触发器逻辑中调用Databricks权限API，为新组件添加预设的用户组权限
  • 为Job添加权限的API调用示例：

    curl -X PATCH \
      https://<your-databricks-workspace-url>/api/2.0/permissions/jobs/<new-job-id> \
      -H "Authorization: Bearer <your-token>" \
      -d '{
        "access_control_list": [
          {
            "group_name": "your-target-group",
            "permission_level": "CAN_MANAGE_RUN"
          }
        ]
      }'
    

• 优势：无需改变现有手动创建组件的流程，适合需要保留灵活创建方式的场景。

额外安全建议 #

• 优先调整Workspace的基础权限设置，降低默认用户的访问权限（例如取消所有用户对新集群/Jobs的CAN_RUN或CAN_MANAGE默认权限），从根源避免新建组件被任意访问，再通过上述方案为指定组开放权限。
• Cluster Policy仅用于资源配置限制（如worker数量、运行时版本），无法直接控制访问权限，需与权限自动化方案配合使用。

内容的提问来源于stack exchange，提问作者Akash