如何使用dbt循环遍历日期范围批量运行模型？

原宏的问题点 #

1. date_spine调用参数缺失：dbt_utils.date_spine必须指定datepart（如"day"），且start_date/end_date需为带引号的字符串，原调用未满足这些要求，无法生成正确日期序列。
2. run_query用法错误：run_query用于执行SQL并返回结果，不能直接传入{{ref(model_name)}}来运行模型，也没有动态替换日期变量。
3. 变量传递失效：未将循环的日期传递给模型中的var('date')，导致模型无法切换日期。

解决方案 #

方案一：直接批量生成分日期表（整合模型逻辑） #

该方案在宏中直接生成每个日期对应的SQL，创建分日期表，适合一次性批量加载数据：

{% macro run_model_by_date_range(model_name, start_date, end_date) %}
    {% set date_spine_query %}
        {{ dbt_utils.date_spine(
            datepart="day",
            start_date=start_date,
            end_date=end_date
        ) }}
    {% endset %}

    {% set date_results = run_query(date_spine_query) %}
    {% set date_list = date_results.columns[0].values() %}

    {% for date in date_list %}
        {% set formatted_date = date.strftime('%Y-%m-%d') %}
        {% set target_table = model_name ~ '_' ~ formatted_date %}
        {{ log("Creating table: " ~ target_table ~ " (date: " ~ formatted_date ~ ")", info=True) }}

        {% set dynamic_sql %}
            {{ config(
                materialized='table',
                # 替换为你的Redshift Unload配置
                unload='s3://your-bucket/path/',
                iam_role='arn:aws:iam::123456789012:role/your-role'
            ) }}
            select * from spectrum.table_name_df where dt = '{{ formatted_date }}'
        {% endset %}

        {{ run_query(dynamic_sql) }}
    {% endfor %}
{% endmacro %}

使用方式

创建一个空模型（如batch_run.sql），内容为：

{{ run_model_by_date_range('target_model', "'2015-01-01'", "'2015-01-05'") }}

运行命令：dbt run --models batch_run

方案二：循环调用dbt run传递日期变量（保留原模型结构） #

如果你想保留原模型的独立结构，通过宏循环传入不同日期变量运行模型：

{% macro run_model_by_date_range(model_name, start_date, end_date) %}
    {% set date_spine_query %}
        {{ dbt_utils.date_spine(
            datepart="day",
            start_date=start_date,
            end_date=end_date
        ) }}
    {% endset %}

    {% set date_results = run_query(date_spine_query) %}
    {% set date_list = date_results.columns[0].values() %}

    {% for date in date_list %}
        {% set formatted_date = date.strftime('%Y-%m-%d') %}
        {{ log("Running model: " ~ model_name ~ " (date: " ~ formatted_date ~ ")", info=True) }}
        {% set run_cmd = "dbt run --models " ~ model_name ~ " --vars '{\"date\": \"" ~ formatted_date ~ "\"}'" %}
        {{ execute(run_cmd) }}
    {% endfor %}
{% endmacro %}

使用方式

通过dbt运行操作命令执行宏：

dbt run-operation run_model_by_date_range --args '{model_name: "your_model_name", start_date: "\'2015-01-01\'", end_date: "\'2015-01-05\'"}'

内容的提问来源于stack exchange，提问作者brunondjoyer