如何在运行dbt的prod环境时自动切换source.yml配置？

针对dev和prod环境的source配置差异，有几种高效的自动切换方案：

方法1：用Jinja模板+环境变量动态生成source配置 #

直接在同一个source.yml里通过Jinja语法根据当前环境动态赋值，无需维护两份独立文件：

修改source.yml内容：

version: 2
sources:
  - name: idn_stg_mti
    description: 'Data ingested from MTI channel'
    database: {% if target.name == 'dev' %}DEV_IDN{% elif target.name == 'prod' %}PRD_IDN{% endif %}
    schema: idn_stg_mti

在profiles.yml中配置好dev和prod两个target：

your_project:
  target: dev
  outputs:
    dev:
      type: [你的数据库类型，如snowflake/bigquery]
      database: DEV_IDN
      schema: idn_stg_mti
      # 补充其他连接配置
    prod:
      type: [你的数据库类型]
      database: PRD_IDN
      schema: idn_stg_mti
      # 补充其他连接配置

运行时指定环境即可自动切换：

# 运行dev环境
dbt run --target dev

# 运行prod环境
dbt run --target prod

方法2：直接引用target内置变量 #

如果profiles.yml中已为每个target指定了正确的database，source.yml可直接复用target的内置变量，实现更简洁的配置：

修改source.yml：

version: 2
sources:
  - name: idn_stg_mti
    description: 'Data ingested from MTI channel'
    database: {{ target.database }}
    schema: idn_stg_mti

只要profiles.yml里的dev target对应DEV_IDN、prod target对应PRD_IDN，运行时指定--target参数，dbt就会自动匹配对应环境的database配置。

方法3：拆分环境专属source配置文件 #

如果需要处理更复杂的环境差异，可以拆分source配置到不同目录：

1. 在models目录下新建sources/dev和sources/prod子目录，分别存放对应环境的source.yml：
   • models/sources/dev/source.yml：dev环境的source配置
   • models/sources/prod/source.yml：prod环境的source配置
2. 在dbt_project.yml中通过变量控制启用对应目录：

models:
  your_project_name:
    sources:
      dev:
        enabled: "{{ target.name == 'dev' }}"
      prod:
        enabled: "{{ target.name == 'prod' }}"

运行时通过--target指定环境，dbt会自动加载对应目录下的source配置。

内容的提问来源于stack exchange，提问作者BimoS