如何在同一dbt Cloud项目中配置Redshift不同主机连接？

核心结论 #

dbt Cloud 不会自动读取本地的 profiles.yml，它有一套内置的环境配置体系，但你可以沿用dbt Core的思路，结合dbt Cloud的功能实现「分支合并触发对应数据库任务」的需求。

具体实现方式 #

1. 利用dbt Cloud「环境（Environments）」功能（官方推荐） #

这是dbt Cloud的标准实践，步骤清晰且隔离性强：

• 在dbt Cloud后台创建两个独立环境：开发环境和生产环境
  • 分别配置对应Redshift开发库、生产库的连接信息（主机地址、端口、数据库名、认证方式等）
• 配置分支触发规则：
  • 给开发环境设置触发条件：当PR合并到开发分支（如dev）时，自动运行该环境下的dbt任务
  • 给生产环境设置触发条件：当PR合并到生产分支（如main/prod）时，自动运行该环境下的dbt任务
• 优势：无需手动维护环境变量，dbt Cloud自动管理不同环境的连接配置，出错概率低

2. 环境变量+项目内profiles.yml（兼容dbt Core习惯） #

如果你想沿用dbt Core的配置逻辑，可以这么做：

• 在dbt Cloud项目中上传profiles.yml，用环境变量占位敏感/差异化配置，示例：

  my_redshift_project:
    outputs:
      dev:
        type: redshift
        host: "{{ env_var('REDSHIFT_DEV_HOST') }}"
        user: "{{ env_var('REDSHIFT_USER') }}"
        password: "{{ env_var('REDSHIFT_PASSWORD') }}"
        port: 5439
        dbname: dev_db
        schema: dbt_dev
        threads: 4
      prod:
        type: redshift
        host: "{{ env_var('REDSHIFT_PROD_HOST') }}"
        user: "{{ env_var('REDSHIFT_USER') }}"
        password: "{{ env_var('REDSHIFT_PASSWORD') }}"
        port: 5439
        dbname: prod_db
        schema: dbt_prod
        threads: 8
    target: "{{ env_var('DBT_TARGET', 'dev') }}"
  

• 在dbt Cloud的两个环境中分别设置对应变量：
  • 开发环境：DBT_TARGET=dev、REDSHIFT_DEV_HOST=<开发库主机地址>
  • 生产环境：DBT_TARGET=prod、REDSHIFT_PROD_HOST=<生产库主机地址>
• 给两个环境配置对应分支的触发规则，合并分支时dbt Cloud会自动加载对应环境变量，切换目标数据库

3. 独立作业（Jobs）配置 #

如果不需要完整环境隔离，也可直接创建两个独立作业：

• 作业1：关联开发分支，运行时指定--target dev，并在作业的环境变量中配置开发库连接参数
• 作业2：关联生产分支，运行时指定--target prod，并配置生产库连接参数
• 设置作业触发条件为对应分支的PR合并事件

注意事项 #

• 敏感信息（密码、密钥等）不要硬编码在代码或配置文件中，全部通过dbt Cloud的环境变量存储，平台会加密管理
• 做好权限隔离：开发环境的Redshift账号仅拥有开发库读写权限，生产环境账号仅拥有生产库必要权限，避免误操作

内容的提问来源于stack exchange，提问作者Bunny Talks