如何在dbt模型中通过Jinja验证source.yml中的表配置是否存在？

方法1：通过graph对象遍历判断 #

dbt的Jinja上下文内置graph对象，包含所有已加载的source配置信息，可通过遍历它验证目标表是否存在：

{% set target_source = "channels" %}
{% set target_table = "table1" %}
{% set table_exists = false %}

{% for source in graph.sources.values() %}
    {% if source.source_name == target_source and source.name == target_table %}
        {% set table_exists = true %}
    {% endif %}
{% endfor %}

{% if table_exists %}
    -- 表存在时执行的逻辑
    select * from {{ source(target_source, target_table) }}
{% else %}
    -- 表不存在时的处理逻辑，例如返回空结构
    select cast(null as varchar) as dummy_column
{% endif %}

方法2：封装成可复用宏 #

把检查逻辑封装成宏，方便在多个模型中重复调用：

{% macro source_exists(source_name, table_name) %}
    {% set exists = false %}
    {% for source in graph.sources.values() %}
        {% if source.source_name == source_name and source.name == table_name %}
            {% set exists = true %}
        {% endif %}
    {% endfor %}
    {{ return(exists) }}
{% endmacro %}

调用示例：

{% if source_exists("channels", "table1") %}
    select * from {{ source("channels", "table1") }}
{% else %}
    select cast(null as varchar) as dummy_column
{% endif %}

核心说明 #

graph.sources会加载所有source.yml中定义的配置，每个元素的source_name对应source的名称，name对应表的名称，这种方式不会因表不存在触发报错，能优雅处理表缺失的场景。

内容的提问来源于stack exchange，提问作者Arman