如何在DBT中从字段表动态指定字段查询另一表？

你之前用dbt_utils.star的方法行不通，因为这个宏是读取DBT模型的元数据（比如模型定义的字段、项目配置里的schema），不是从数据库表中实时查询字段名列表，所以没法直接用它来实现从fields_table动态取字段的需求。

下面是两种可行的解决方案：

方法一：用DBT的run_query宏动态获取字段列表 #

通过run_query从fields_table查询字段名，再将结果拼接成SQL字段列表，适用于所有DBT支持的数据库：

-- 从fields_table查询所有字段名
{% set field_query %}
select field_name from {{ ref('fields_table') }}
{% endset %}

{% if execute %}
  -- 执行查询并提取字段名列表
  {% set field_results = run_query(field_query) %}
  {% set field_list = field_results.columns[0].values() %}
{% else %}
  -- 解析阶段（如dbt compile）给默认空列表，避免报错
  {% set field_list = [] %}
{% endif %}

-- 校验字段列表非空，防止生成无效SQL
{% if field_list | length == 0 %}
  {% do exceptions.raise_compiler_error("fields_table中未找到任何字段名，请检查数据！") %}
{% endif %}

-- 动态选择字段查询superheroes表
select {{ field_list | join(', ') }}
from {{ ref('superheroes') }}

方法二：利用数据库原生动态SQL（适用于支持字符串聚合的数据库） #

如果你的数据库支持字符串聚合函数（比如PostgreSQL的string_agg、BigQuery的string_agg），可以先聚合字段名成字符串，再直接引用：

-- 聚合字段名为逗号分隔的字符串
{% set get_fields_sql %}
select string_agg(field_name, ', ') as selected_fields
from {{ ref('fields_table') }}
{% endset %}

{% if execute %}
  {% set selected_fields = run_query(get_fields_sql).columns[0].values()[0] %}
{% else %}
  {% set selected_fields = '' %}
{% endif %}

{% if selected_fields == '' %}
  {% do exceptions.raise_compiler_error("fields_table中未找到有效字段！") %}
{% endif %}

select {{ selected_fields }}
from {{ ref('superheroes') }}

注意事项 #

• 确保fields_table中的field_name值和superheroes表的字段名完全一致，否则会触发数据库字段不存在的错误。
• execute变量用于区分DBT的解析阶段和执行阶段：解析阶段（如dbt compile）不会实际执行数据库查询，所以需要给默认值避免编译报错。

内容的提问来源于stack exchange，提问作者hunter9012