如何从Azure Data Factory管道触发终止Databricks全用途集群？

已知作业集群或配置自动终止是更优方案，但因实验需求需从ADF管道触发终止Databricks全用途集群，而ADF的Databricks链接服务仅支持在集群内运行代码，无直接终止集群的选项，可通过以下方式实现：

实现步骤 #

• 使用ADF的Web活动调用Databricks REST API完成集群终止：
  1. 在ADF管道中添加Web活动，配置参数：
     • 请求方法选择POST
     • 请求URL填写：https://<你的Databricks工作区域名>/api/2.0/clusters/delete，替换为实际工作区地址
     • 请求头部添加：
       • Content-Type: application/json
       • Authorization: Bearer <你的Databricks个人访问令牌（PAT）>，该令牌需具备集群删除权限
     • 请求体（JSON格式）填写：{"cluster_id": "<目标全用途集群ID>"}，替换为要终止的集群ID

注意事项 #

• 确保Databricks个人访问令牌拥有clusters delete权限，避免因权限不足导致调用失败
• 敏感信息（如PAT、集群ID）建议存储在Azure密钥保管库中，通过ADF的密钥保管库链接服务引用，不要硬编码在管道配置中
• 可先通过Postman等工具手动调用API验证功能正常，再集成到ADF管道中

内容的提问来源于stack exchange，提问作者cornisto