如何在dbt项目全局实现dev环境数据量限制（替代重复Jinja逻辑）

方案1：封装可复用宏（最常用） #

把环境判断和数据过滤逻辑封装成通用宏，后续在模型中直接调用即可，无需重复编写Jinja代码块。

1. 在项目的macros/目录下创建filter_dev_data.sql文件，写入以下内容：

{% macro filter_dev_data(source_relation, date_column='created_at', days_back=3) %}
    {{ source_relation }}
    {% if target.name == 'dev' %}
        where {{ date_column }} >= dateadd('day', -{{ days_back }}, current_date)
    {% endif %}
{% endmacro %}

2. 在模型SQL中调用该宏替代直接引用source：

select *
from {{ filter_dev_data(source('web_events', 'page_views')) }}

如果模型的日期字段不是created_at，或者需要调整回溯天数，直接传参即可：

select *
from {{ filter_dev_data(source('web_events', 'logins'), date_column='login_time', days_back=7) }}

方案2：结合源配置与全局宏（更自动化） #

如果大部分源表都有统一规则的日期字段，可以在源配置中定义字段属性，配合全局宏自动应用过滤，进一步减少重复操作。

1. 在models/sources.yml中给源表添加自定义元数据：

version: 2

sources:
  - name: web_events
    tables:
      - name: page_views
        meta:
          filter_date_column: created_at
      - name: logins
        meta:
          filter_date_column: login_time

2. 封装自动读取源配置的宏：

{% macro filtered_source(source_name, table_name, days_back=3) %}
    {% set source_relation = source(source_name, table_name) %}
    {% set date_column = get_source_meta(source_name, table_name)['filter_date_column'] %}
    
    {{ source_relation }}
    {% if target.name == 'dev' %}
        where {{ date_column }} >= dateadd('day', -{{ days_back }}, current_date)
    {% endif %}
{% endmacro %}

3. 模型中调用会更简洁：

select *
from {{ filtered_source('web_events', 'page_views') }}

方案3：模型通用配置+预查询宏（全局生效，局限性高） #

如果希望所有模型默认应用过滤逻辑（无需手动调用宏），可以通过dbt的模型通用配置结合宏实现，但仅适合所有模型都基于带统一日期字段表的场景。

1. 在dbt_project.yml中给所有模型添加通用配置：

models:
  your_project_name:
    +pre-hook: "{{ apply_dev_filter() }}"

2. 封装apply_dev_filter宏：

{% macro apply_dev_filter(date_column='created_at', days_back=3) %}
    {% if target.name == 'dev' %}
        -- 针对模型对应的表注入过滤逻辑，需确保模型数据源结构统一
        -- 可结合SQL AST解析实现更精准的过滤注入，复杂度较高
        alter session set query_tag = 'dev_data_filter_enabled';
    {% endif %}
{% endmacro %}

⚠️ 该方案局限性强，仅适合数据源结构高度统一的大规模项目，日常场景更推荐前两种方案。

内容的提问来源于stack exchange，提问作者Alfredo Di Massimo