如何配置Azure Databricks集群实现工作日工作时段自动启动及定时超时关停

这个需求完全可以实现，目前有两种主流落地方式：

方案1：使用Databricks原生功能实现（无需额外对接外部工具） #

• 第一步配置定时启动规则：在Databricks作业页创建一个无运行逻辑的空作业，设置调度规则为每周一至周五早8点触发，作业绑定目标集群，作业触发时会自动拉起处于停止状态的目标集群。
• 第二步配置分时段自动终止规则：你可以额外创建两个定时作业来切换集群的闲置终止配置：
  • 配置一个每周一至周五早7点55分触发的作业，调用Databricks clusters edit API 关闭目标集群的闲置自动终止功能，保证工作时段内集群无论是否闲置都不会被关停
  • 配置一个每周一至周五晚6点触发的作业，调用相同API将目标集群的闲置自动终止时长调整为你需要的时长（比如30分钟），非工作时段闲置后自动关停
    如果你们使用的是Databricks Premium版本，还可以直接通过集群策略（Cluster Policies）功能配置基于时间的自动终止规则，无需额外写API调用逻辑，配置门槛更低。

方案2：对接外部调度工具实现 #

如果你们团队已经在使用Airflow、Jenkins或企业内部统一的定时任务平台，可以直接调用Databricks开放API实现全流程控制：

• 工作日早8点调用clusters start接口启动目标集群
• 工作日晚6点调用clusters edit接口开启闲置自动终止配置，也可以根据需求直接调用clusters stop接口关停集群

注意事项 #

• 如果你的集群配置了大量初始化脚本、挂载了大容量存储，建议将启动时间提前10-15分钟，保证早8点前集群完全启动可用
• 可以给集群配置操作权限限制，避免非工作时段有人手动启动集群后忘记关停造成资源浪费

内容的提问来源于stack exchange，提问作者Jerry Nixon