在DBT+BigQuery中按Client字段动态生成子表的编译错误求助

错误原因分析 #

• 编译阶段报错：dbt编译阶段（execute=False）时，run_query()不会执行SQL查询，返回None，直接访问unique_clients.columns[0].values()会触发'None' has no attribute 'table'错误。
• 模型被跳过：添加{% if execute %}后，编译阶段不会执行块内代码，dbt无法识别有效的模型定义，因此跳过该模型。

修正后的代码 #

{% set unique_clients_query %}
select distinct array_reverse(split(_file_name,'/'))[offset(1)] client from data.fedex_2
order by 1
{% endset %}

{% set unique_clients = run_query(unique_clients_query) %}

{% if execute %}
    {% for client_name in unique_clients.columns[0].values() %}
        {% set escaped_client = client_name | replace("'", "\\'") %}
        {% set table_name = "fedex_2_charges_" ~ escaped_client %}
        
        create or replace table {{ target.schema }}.{{ table_name }}
        {{ config(
            materialized='table',
            tags=['fedex_2', 'core']
        ) }}
        as
        select *
        from {{ ref('fedex_2_charges') }}
        where client = '{{ escaped_client }}';
    {% endfor %}
{% else %}
    -- 编译阶段占位查询，避免模型被跳过
    select 1 as dummy_column
{% endif %}

关键修改点 #

• 编译阶段占位：在{% else %}块中添加占位查询，确保dbt编译阶段能识别模型，不会被跳过。
• 变量转义：用replace("'", "\\'")处理client名称中的单引号，避免SQL语法错误。
• 直接创建表：不再依赖循环生成dbt模型定义，而是直接用create or replace table语句在执行阶段生成子表，适配dbt执行逻辑。
• 修正变量错误：原代码中unique_id=client为未定义变量，此处通过表名直接区分子表，无需该参数。

额外注意事项 #

• 确保data.fedex_2中的client值与fedex_2_charges表的client字段匹配，否则生成的子表会为空。
• 若client名称包含特殊字符（如空格、连字符），建议添加清洗逻辑（如lower()、replace(" ", "_")），确保表名符合BigQuery命名规范。

内容的提问来源于stack exchange，提问作者Siddharth Chabra