Databricks共享集群使用追踪与多用户并发配置问询

一、配置用户对共享集群的访问权限 #

• 创建或编辑共享集群时，切换到权限标签页：
  • 添加需要授权的用户/用户组，分配允许附加（Allow Attach）权限，让用户能连接到集群；
  • 若允许用户启动/停止集群，额外分配允许重启（Allow Restart）权限；
  • 避免分配允许管理（Allow Manage）权限，防止用户修改集群核心配置。

二、追踪用户集群使用情况与计费统计 #

• 集群事件日志：在集群详情页的事件标签下，可直接查看用户启动/停止集群的操作记录，包含操作人、时间戳、事件类型（如CLUSTER_STARTED、CLUSTER_STOPPED），用于统计集群运行时长。
• 审计日志：导出Workspace级别的审计日志（支持存储到S3/ADLS等），筛选以下关键事件类型提取计费数据：
  • cluster_start/cluster_stop：追踪集群启停的发起用户与时间区间；
  • notebook_run_start/notebook_run_end：记录单个用户笔记本作业的执行时长；
  • cluster_attach/cluster_detach：统计用户连接集群的时长。
• Spark作业历史：通过集群的Spark UI（集群详情页→Spark UI），在“Jobs”或“Applications”页面查看每个作业的提交用户、执行时间、资源消耗，用于细化到作业级别的计费。
• 计费计算：结合Databricks实例的小时定价，可按「集群总运行时长×实例规格单价」分摊到用户，或按「用户作业执行时长/集群总运行时长」比例分配成本。

三、配置多用户无阻塞运行笔记本 #

• 启用多用户模式：创建集群时，进入高级选项→多用户，勾选“启用多用户支持”。开启后，多个用户可同时附加到集群，各自的笔记本会话会被隔离，互不干扰。
• 资源隔离与调度优化：
  • 合理设置集群的spark.executor.cores和spark.executor.memory，确保每个executor能承载多个用户的轻量作业；
  • 启用动态资源分配（在高级选项→Spark配置中添加spark.dynamicAllocation.enabled true），让集群根据实时负载自动增减executor，避免资源闲置或过载；
  • （Premium/Enterprise版）配置资源配额：通过Workspace的资源管理器，为不同用户/组设置集群资源使用上限，防止单个用户占用过多核心/内存。
• 作业运行建议：引导用户将长时间运行的查询提交为**作业（Job）**而非交互式笔记本，作业会在后台独立执行，不占用交互式会话资源；同时限制单个笔记本的并发作业数，避免资源争抢。

内容的提问来源于stack exchange，提问作者ZZZSharePoint