Terraform部署Azure Synapse删除Spark Pool报错的解决方案咨询

在Azure DevOps CD流水线执行Terraform修改Synapse配置时，删除Spark池遇到如下报错：

Error: waiting for the deletion of Spark Pool: (Big Data Pool Name "X" / Workspace Name "syn-X" Future#WaitForCompletion: the number of retries has been exceeded: StatusCode=400 -- Original Error: Code="DeleteSparkComputeAdfError" Message="The document cannot be deleted since it is referenced by X."

删除关联笔记本后报错仍存在，以下是无需删除整个Synapse工作区的自动化解决方案：

可行方案 #

1. 清理Synapse隐藏依赖资源 #

报错中的"referenced by X"通常指向非显式依赖，需针对性清理：

• 管道/触发器：检查Synapse集成的Data Factory管道是否存在调用绑定该Spark池的笔记本活动，或触发器关联了这类管道，需在CD流水线中优先删除这些资源。
• 笔记本版本/快照：删除笔记本后，其历史版本或快照仍可能绑定Spark池，可通过Azure CLI批量清理：

  az synapse notebook delete --workspace-name syn-X --name <目标笔记本名称> --delete-all-versions true
  

• Spark作业历史：残留的Spark作业运行记录可能锁定资源，可通过CLI清理指定池的作业：

  az synapse spark job delete --workspace-name syn-X --spark-pool-name X --job-id <作业ID>
  

2. 在CD流水线中添加前置清理脚本 #

在Terraform执行销毁/配置变更前，添加Azure CLI任务自动检测并删除关联资源：

1. 查询所有依赖目标Spark池的管道：

   az synapse pipeline list --workspace-name syn-X --query "[?contains(properties.activity, 'X')].name" -o tsv
   

2. 批量删除查询到的管道：

   for pipeline in $(az synapse pipeline list --workspace-name syn-X --query "[?contains(properties.activity, 'X')].name" -o tsv); do
     az synapse pipeline delete --workspace-name syn-X --name $pipeline
   done
   

3. 调整Terraform销毁顺序 #

修改Terraform配置或执行命令，确保依赖资源先于Spark池销毁：

• 显式指定销毁目标顺序，先清理依赖资源：

  terraform destroy -target azurerm_synapse_pipeline.example -auto-approve
  

• 再销毁Spark池：

  terraform destroy -target azurerm_synapse_big_data_pool.example -auto-approve
  

4. 调用Azure REST API强制清理 #

若上述方法无效，可通过REST API直接删除锁定的引用资源（以管道为例）：

az rest --method DELETE --uri "https://syn-X.dev.azuresynapse.net/adf/workspaces/syn-X/pipelines/<目标管道名称>?api-version=2020-12-01"

内容的提问来源于stack exchange，提问作者LJRB