在dbt中高效从Snowflake提取变量及通过模型结果设值的方法

核心逻辑 #

dbt没有原生的「直接从模型结果赋值变量」功能，但可以通过预查询+宏的方式替代你原先用Snowflake游标手动提取变量的操作，全程用dbt原生语法实现，更贴合dbt的工作流。

具体实现方案 #

1. 编写取值宏（替代Python游标逻辑） #

用dbt内置的run_query函数执行查询，自动处理结果和空值，不需要手动操作游标：

{% macro set_query_based_vars() %}
    {% set query %}
        SELECT
            COALESCE(FIRST_VALUE, 0) AS var1,
            COALESCE(SECOND_VALUE, 0) AS var2
        FROM my_table
        LIMIT 1
    {% endset %}

    {% set results = run_query(query) %}

    {% if execute %}
        {% if results.rowcount > 0 %}
            {% set row = results.rows[0] %}
            {% do set_var("var1", row[0]) %}
            {% do set_var("var2", row[1]) %}
        {% else %}
            {% do set_var("var1", 0) %}
            {% do set_var("var2", 0) %}
        {% endif %}
        {{ log("已设置变量：var1=" ~ var("var1") ~ ", var2=" ~ var("var2"), info=True) }}
    {% endif %}
{% endmacro %}

2. 调用宏实现变量赋值 #

• 全局生效：在dbt_project.yml中配置on-run-start钩子，dbt启动时自动执行宏并初始化变量

on-run-start:
  - "{{ set_query_based_vars() }}"

之后在任意模型里直接用{{ var('var1') }}、{{ var('var2') }}调用变量。

• 单个模型内使用：如果只需要在特定模型里用，直接在模型开头调用宏即可

{% do set_query_based_vars() %}

SELECT
    id,
    name,
    {{ var('var1') }} AS default_val1,
    {{ var('var2') }} AS default_val2
FROM target_table

3. 对比原Python逻辑的优势 #

• 完全基于dbt语法，无需额外维护Python脚本
• 用COALESCE直接处理空值，简化原代码的判断逻辑
• 贴合dbt的声明式风格，便于团队协作和版本控制

注意点 #

• run_query仅在execute=True时实际执行（dbt编译阶段不会运行，避免编译报错）
• 示例只取查询结果的第一行，和原代码逻辑一致；如果需要处理多行，可循环遍历results.rows
• 全局变量必须用set_var函数设置，确保变量在整个dbt运行周期内可用

内容的提问来源于stack exchange，提问作者Anirban Goswami