通过Terraform创建Databricks Metastore报错排查与解决

错误根源 #

• tainted标记意味着Terraform判定该资源状态异常，需要重建，但实际Metastore已在Azure Databricks账户中创建，导致apply阶段触发无意义的更新操作，抛出cannot create metastore: UpdateMetastore Nothing to update错误，阻塞后续资源操作。

排查与修复步骤 #

1. 同步Terraform状态与实际环境 #

• 执行以下命令查看状态文件中记录的Metastore属性：

  terraform state show module.dbw_metastore.databricks_metastore.dbw_ms
  

• 若状态文件中无该资源记录，但Metastore实际存在，将现有资源导入状态：

  terraform import module.dbw_metastore.databricks_metastore.dbw_ms <your-metastore-id>
  

  注：Metastore ID可在Azure Databricks账户控制台的Metastore详情页获取

2. 验证Databricks Provider配置 #

Metastore是账户级资源，必须使用账户级Provider而非工作区级：

• 确保provider.tf中配置了账户级Provider：

  provider "databricks" {
    alias = "account"
    host  = "https://accounts.azuredatabricks.net"
    azure_workspace_resource_id = "/subscriptions/<sub-id>/resourceGroups/<rg-name>/providers/Microsoft.Databricks/workspaces/<ws-name>"
    client_id     = var.sp_client_id
    client_secret = var.sp_client_secret
    tenant_id     = var.tenant_id
  }
  

• 在databricks_metastore资源定义中指定该Provider：

  resource "databricks_metastore" "dbw_ms" {
    provider = databricks.account
    # 其他必填属性
    name         = "your-metastore-name"
    storage_root = "abfss://<container>@<storage-account>.dfs.core.windows.net/metastore"
    region       = "your-region"
  }
  

3. 移除Tainted标记 #

若资源实际正常仅被错误标记为tainted，执行命令清除标记：

terraform untaint module.dbw_metastore.databricks_metastore.dbw_ms

4. 验证资源属性定义 #

• 确保databricks_metastore的必填属性（name、storage_root、region）与实际环境一致，避免设置Terraform无法管控的属性（如固定owner值与实际管理员冲突）。

5. 重新执行流水线 #

完成上述操作后，重新运行Azure DevOps流水线的terraform plan和apply步骤，确认错误消除。

内容的提问来源于stack exchange，提问作者Quynh-Mai Chu