Databricks DBX中deployment.yaml参数替换与多环境工作流复用

方案1：通过占位符传递environment_key到Python任务 #

dbx没有直接对应environment_key的内置占位符，但可以利用其提供的环境变量占位符或自定义环境变量来实现需求，比手动设置环境变量更简便：

方式1：使用内置环境名称占位符 #

在deployment.yaml中直接引用{{ environment.name }}，部署/启动时会自动替换为当前指定的环境名称（dev/stag/prod）：

deployments:
  - name: shared-workflow
    tasks:
      - task_key: core-python-task
        spark_python_task:
          python_file: "file://tasks/main_task.py"
          parameters: ["--environment", "{{ environment.name }}"]
    environments:
      - name: dev
        # dev环境专属配置（如集群规格、变量等）
      - name: stag
        # stag环境专属配置
      - name: prod
        # prod环境专属配置

你的Python任务只需通过argparse接收--environment参数即可，无需额外修改代码。

方式2：自定义环境变量占位符 #

如果需要自定义environment_key（比如和环境名称不一致），可以在环境配置中添加自定义变量，再通过{{ variables.ENV_KEY }}引用：

environments:
  - name: dev
    variables:
      ENV_KEY: "dev-zone"
  - name: stag
    variables:
      ENV_KEY: "stag-zone"
  - name: prod
    variables:
      ENV_KEY: "prod-zone"

deployments:
  - name: shared-workflow
    tasks:
      - task_key: core-python-task
        spark_python_task:
          python_file: "file://tasks/main_task.py"
          parameters: ["--environment-key", "{{ variables.ENV_KEY }}"]

方案2：通过dbx命令行参数指定环境 #

该方案完全可行，dbx的deploy和launch命令原生支持--environment参数，用来绑定目标环境：

1. 部署到指定环境：

dbx deploy --environment=dev

执行后会自动加载dev环境的配置，替换deployment.yaml中的所有占位符，将工作流部署到对应环境。

2. 启动指定环境的工作流：

dbx launch --environment=dev --job=shared-workflow

启动时会严格使用dev环境的配置，包括任务参数中的占位符也会被正确替换。

如果需要临时传递额外参数，还可以结合--parameters选项：

dbx launch --environment=dev --job=shared-workflow --parameters='{"custom_param": "dev-value"}'

但优先推荐方案1的占位符+命令行指定环境的组合，既能最大化复用配置，又能保证环境一致性。

内容的提问来源于stack exchange，提问作者André Salvati