在DBT-Jinja中遍历行列：将DBT Seed转为动态列表实现聚合

1. 先明确元数据表结构 #

假设你的DBT Seed元数据表（比如命名为meta_table）结构如下，存储了目标表、聚合类型、聚合字段的对应关系：

2. 生成单字段遍历列表（仅目标表名） #

如果只需要遍历目标表名，直接用dbt_utils.get_column_values宏提取元数据表的指定字段，生成Jinja可遍历列表：

{% set target_tables = dbt_utils.get_column_values(
    ref('meta_table'),
    'target_table'
) %}

{% for table in target_tables %}
SELECT 
    '{{ table }}' AS table_name,
    COUNT(*) AS total_records
FROM {{ ref(table) }}
{% if not loop.last %}UNION ALL{% endif %}
{% endfor %}

3. 生成多字段结构化列表（支持复杂聚合） #

如果需要同时获取聚合类型、聚合字段等信息，用run_query宏查询元数据表，将结果转为字典列表，实现更灵活的循环逻辑：

{% set meta_query %}
SELECT target_table, metric_type, metric_column 
FROM {{ ref('meta_table') }}
{% endset %}

{% set meta_results = run_query(meta_query) %}

{% if execute %}
{% set meta_list = meta_results.rows %}
{% else %}
{% set meta_list = [] %}
{% endif %}

{% for meta in meta_list %}
SELECT
    '{{ meta.target_table }}' AS table_name,
    '{{ meta.metric_type }}_{{ meta.metric_column }}' AS metric_name,
    {% if meta.metric_type == 'count' %}
        COUNT({{ meta.metric_column }}) AS metric_value
    {% elif meta.metric_type == 'sum' %}
        SUM({{ meta.metric_column }}) AS metric_value
    {% endif %}
FROM {{ ref(meta.target_table) }}
{% if not loop.last %}UNION ALL{% endif %}
{% endfor %}

4. 关键注意事项 #

• 必须添加{% if execute %}判断：DBT在解析阶段不会执行run_query，该判断能避免解析时出现空值报错
• 元数据表的字段名需与代码中的引用完全一致，比如target_table、metric_type不能写错
• 若元数据来自DBT Model而非Seed，只需将ref('meta_table')替换为对应Model的名称即可

内容的提问来源于stack exchange，提问作者JN - TF