如何在Databricks Asset Bundles多YAML文件中定义可复用作业集群配置

需求说明 #

需要在DAB中创建可复用的作业集群配置，让多个独立YAML文件定义的作业能引用同一套集群配置，避免重复代码，遵循DRY原则。期望的项目结构如下：

project/
├── resources/
│   ├── cluster_configs.yml    # 定义可复用集群配置
│   ├── job_a.yml             # 使用标准集群的作业A
│   ├── job_b.yml             # 使用标准集群的作业B  
│   └── job_c.yml             # 使用大型集群的作业C
├── databricks.yml
└── src/

失败的尝试 #

尝试1：YAML锚点 #

• 问题：YAML锚点无法在DAB的跨文件场景中生效，跨YAML文件无法引用锚点定义的内容。

尝试2：Complex类型变量 #

• 配置示例：

variables:
  standard_cluster:
    type: complex
    default:
      job_cluster_key: my_cluster
      new_cluster:
        spark_version: "15.4.x-scala2.12"
        node_type_id: "Standard_D4ds_v5"
        num_workers: 2

resources:
  jobs:
    my_job:
      job_clusters:
        - ${var.standard_cluster}  # ❌ 架构验证错误

• 错误信息：
  • unknown field: job_cluster_key
  • unknown field: new_cluster
• 原因：DAB的Complex类型变量无法容纳包含job_cluster_key和new_cluster的完整作业集群对象，变量结构不符合DAB的资源校验规则。

尝试3：顶层job_clusters资源 #

• 配置示例：

resources:
job_clusters:  # ❌ 不支持的顶层资源类型
standard_cluster:
# ...

• 原因：job_clusters并非DAB支持的顶层资源类型，只能作为作业资源的子字段存在。

可行解决方案 #

方案1：拆分变量+跨文件引用 #

将集群核心配置（new_cluster内部参数）定义为Complex变量，集中存储在cluster_configs.yml中，作业文件只需引用变量并手动指定job_cluster_key。

1. 在resources/cluster_configs.yml中定义集群变量：

variables:
  standard_new_cluster:
    type: complex
    default:
      spark_version: "15.4.x-scala2.12"
      node_type_id: "Standard_D4ds_v5"
      num_workers: 2
  large_new_cluster:
    type: complex
    default:
      spark_version: "15.4.x-scala2.12"
      node_type_id: "Standard_D8ds_v5"
      num_workers: 5

2. 在databricks.yml中引入该配置文件：

include:
  - ./resources/cluster_configs.yml

3. 在作业文件（如resources/job_a.yml）中引用：

resources:
  jobs:
    job_a:
      job_clusters:
        - job_cluster_key: standard_cluster
          new_cluster: ${var.standard_new_cluster}
      tasks:
        - task_key: task_a
          job_cluster_key: standard_cluster
          # 任务具体配置...

方案2：使用DAB模块 #

创建专门的集群配置模块，将集群配置作为模块输出，作业通过引用模块输出来复用配置。

1. 创建modules/cluster_configs/module.yml：

outputs:
  standard_cluster:
    value:
      spark_version: "15.4.x-scala2.12"
      node_type_id: "Standard_D4ds_v5"
      num_workers: 2
  large_cluster:
    value:
      spark_version: "15.4.x-scala2.12"
      node_type_id: "Standard_D8ds_v5"
      num_workers: 5

2. 在databricks.yml中声明模块：

resources:
  modules:
    cluster_configs:
      source: ./modules/cluster_configs

3. 在作业文件（如resources/job_c.yml）中引用模块输出：

resources:
  jobs:
    job_c:
      job_clusters:
        - job_cluster_key: large_cluster
          new_cluster: ${modules.cluster_configs.outputs.large_cluster}
      tasks:
        - task_key: task_c
          job_cluster_key: large_cluster
          # 任务具体配置...

内容的提问来源于stack exchange，提问作者Harshit Gupta