如何基于目标环境参数化dbt外部Delta表的存储路径？

针对你的需求，不需要维护多个dbt项目，通过以下两种方案就能实现不同环境下自动切换外部Delta表的存储路径：

方案一：利用dbt Target配置（推荐） #

通过在profiles.yml的不同环境目标中定义存储根路径变量，让dbt根据运行时指定的target自动加载对应路径。

1. 修改profiles.yml配置
   在每个target节点下添加自定义的storage_root变量：

cdp_databricks:
  target: dev
  outputs:
    dev:
      type: databricks
      schema: dev_cdp
      host: xxx.azuredatabricks.net
      token: xxx
      cluster: xxx
      storage_root: "abfss://deltalake@dev.dfs.core.windows.net/"
    prod:
      type: databricks
      schema: prod_cdp
      host: xxx.azuredatabricks.net
      token: xxx
      cluster: xxx
      storage_root: "abfss://deltalake@prod.dfs.core.windows.net/"

2. 更新dbt_project.yml的路径模板
   用target.storage_root替换固定的环境根路径：

models:
  +file_format: delta
  cdp:
    DataMart:
       +location_root: "{{ target.storage_root }}DataMart/"
    MarketAnalytics:
       +location_root: "{{ target.storage_root }}MarketAnalytics/"
       Staging:
          +location_root: "{{ target.storage_root }}Staging/"
    Ref:
       +location_root: "{{ target.storage_root }}Ref/"

3. 运行时切换环境
   只需指定对应的target即可自动加载生产/开发路径：

# 开发环境
dbt run --target dev

# 生产环境
dbt run --target prod

方案二：通过环境变量动态传入路径 #

如果不想修改profiles.yml，可以用dbt的环境变量功能实现动态路径替换。

1. 修改dbt_project.yml配置
   使用env_var()模板函数引用环境变量：

models:
  +file_format: delta
  cdp:
    DataMart:
       +location_root: "{{ env_var('STORAGE_ROOT') }}DataMart/"
    MarketAnalytics:
       +location_root: "{{ env_var('STORAGE_ROOT') }}MarketAnalytics/"
       Staging:
          +location_root: "{{ env_var('STORAGE_ROOT') }}Staging/"
    Ref:
       +location_root: "{{ env_var('STORAGE_ROOT') }}Ref/"

2. 运行时传入环境变量
   可以通过命令行参数或系统环境变量传递路径：

# 开发环境（命令行传参）
dbt run --target dev --vars '{"STORAGE_ROOT": "abfss://deltalake@dev.dfs.core.windows.net/"}'

# 生产环境（系统环境变量）
export STORAGE_ROOT="abfss://deltalake@prod.dfs.core.windows.net/"
dbt run --target prod

额外说明 #

• 确保模型的materialized参数设置为'table'，dbt-databricks适配器会自动将location_root转换为Delta表的LOCATION配置
• 若单个模型需要自定义路径，可在模型SQL文件头部单独配置：

{{ config(
    materialized='table',
    location_root=target.storage_root ~ 'CustomModelPath/'
) }}

SELECT ...

• 需提前确保Databricks集群拥有对应存储路径的读写权限

内容的提问来源于stack exchange，提问作者jkmelbs