如何为Databricks Bundles的开发与生产环境配置不同集群ID？

针对开发/生产环境集群ID不同、无法使用Jinja的情况，有两种实用方案可以实现环境自动匹配，无需手动复制ID：

方案1：利用目标级自定义变量（推荐） #

Databricks Bundles支持在targets下定义自定义变量，然后在资源配置中直接引用，实现环境差异化配置：

修改后的完整配置如下：

# yaml-language-server: $schema=bundle_config_schema.json
bundle:
  name: baby-names

resources:
  tasks:
    - task_key: retrieve-baby-names-task
      existing_cluster: ${bundle.target.custom.cluster_id}  # 引用目标自定义变量
      notebook_task:
        notebook_path: ./retrieve-baby-names.py

targets:
  development:
    workspace:
      host: <workspace-url>
    custom:
      cluster_id: "dev-cluster-id-123"  # 开发环境集群ID
  production:
    workspace:
      host: <workspace-url>
    custom:
      cluster_id: "prod-cluster-id-456"  # 生产环境集群ID

• 注意修正了原配置的拼写错误：existint_cluster → existing_cluster
• 部署时只需指定目标环境，Bundles会自动加载对应集群ID：

  # 部署到开发环境
  databricks bundle deploy --target development
  # 部署到生产环境
  databricks bundle deploy --target production
  

方案2：拆分环境配置文件 #

如果配置内容较多，可将通用配置与环境特定配置拆分到不同文件：

1. 通用配置文件base.yml：

# yaml-language-server: $schema=bundle_config_schema.json
bundle:
  name: baby-names

resources:
  tasks:
    - task_key: retrieve-baby-names-task
      notebook_task:
        notebook_path: ./retrieve-baby-names.py

2. 开发环境配置文件dev.yml：

targets:
  development:
    workspace:
      host: <workspace-url>
    resources:
      tasks:
        - task_key: retrieve-baby-names-task
          existing_cluster: "dev-cluster-id-123"

3. 生产环境配置文件prod.yml：

targets:
  production:
    workspace:
      host: <workspace-url>
    resources:
      tasks:
        - task_key: retrieve-baby-names-task
          existing_cluster: "prod-cluster-id-456"

4. 部署时指定加载对应文件：

# 部署开发环境
databricks bundle deploy --target development --file base.yml --file dev.yml
# 部署生产环境
databricks bundle deploy --target production --file base.yml --file prod.yml

内容的提问来源于stack exchange，提问作者Brian