如何在Databricks资产包中为指定Target批量覆写所有Task的库配置

目前Databricks资产包的Target配置里，没有直接用通配符批量匹配task_key的官方支持，但可以通过以下两种方式实现批量覆写所有任务的libraries配置：

1. 使用YAML锚点与引用 #

利用YAML的锚点特性，把重复的libraries配置定义成锚点，然后在每个任务里引用，避免重复编写：

targets:
  dev:
    mode: development
    workspace:
      host: https://xxx-xxxxxx.x.azuredatabricks.net
    resources:
      jobs:
        my_job_name:
          tasks:
            # 定义libraries锚点
            - &dev_libraries
              libraries:
                - whl: ./dist/*.whl
                - pypi:
                    package: some-package==${var.some_package_version}
                    repo: https://pkgs.dev.azure.com/stihl/xxxx/_packaging/xxx/pypi/simple/
            # 引用锚点到任务
            - task_key: ingestion
              <<: *dev_libraries
            - task_key: preparation
              <<: *dev_libraries

这种方式只需维护一份libraries配置，修改时仅需调整锚点内容，所有引用的任务都会同步更新。

2. 借助Terraform集成实现动态生成 #

如果你的资产包基于Terraform构建（Databricks资产包支持Terraform集成），可以通过Terraform的循环逻辑动态生成带统一libraries的任务：

# 定义任务列表变量
variable "job_tasks" {
  type = list(object({
    task_key = string
    # 可添加其他任务基础配置字段
  }))
  default = [
    { task_key = "ingestion" },
    { task_key = "preparation" }
  ]
}

# 动态生成任务，批量注入libraries配置
resource "databricks_job" "my_job" {
  name = "my_job_name"
  
  dynamic "task" {
    for_each = var.job_tasks
    content {
      task_key = task.value.task_key
      # 其他任务专属配置可在此添加
      
      # 统一的libraries配置
      libraries {
        whl = "./dist/*.whl"
      }
      libraries {
        pypi {
          package = "some-package==${var.some_package_version}"
          repo    = "https://pkgs.dev.azure.com/stihl/xxxx/_packaging/xxx/pypi/simple/"
        }
      }
    }
  }
}

这种方案适合任务数量较多的场景，新增任务只需在变量列表中添加条目，无需重复编写libraries配置。

注意：Databricks资产包的原生YAML配置暂不支持批量遍历任务的语法，YAML锚点是最直接的原生解决方案。

内容的提问来源于stack exchange，提问作者Cribber