使用Jinja与dbt生成条件表时的SQL语法错误问题求助

错误原因 #

你当前的Jinja脚本会生成两段独立的SELECT语句直接拼接，数据库无法解析这种格式的SQL，因此抛出语法错误。生成的无效SQL示例：

SELECT * FROM dbo.LeaversReport WHERE Employee_ID = '1104'
SELECT * FROM dbo.LeaversReport WHERE Employee_ID = '9891'

针对不同需求的解决方案 #

需求1：合并所有指定条件的数据到单个表/视图 #

用UNION ALL连接循环生成的每个SELECT语句，确保SQL语法合法：

{% set ids = ['1104', '9891'] %}

{% for ds in ids %}
SELECT * FROM
{{ source('dbo', 'LeaversReport') }}
WHERE Employee_ID = '{{ ds }}'
{% if not loop.last %}UNION ALL{% endif %}
{% endfor %}

• loop.last是Jinja内置变量，用来判断是否是循环的最后一项，避免在最后一条SELECT后多余添加UNION ALL。

需求2：为每个条件单独生成表/视图 #

如果需要为每个员工ID（或后续的日期条件）单独生成对应的表/视图，不能在单个模型里循环，要利用dbt的动态模型生成能力：

步骤1：编写生成单条件SQL的宏

在macros/employee_leavers_macro.sql中创建宏：

{% macro get_leaver_sql(condition_value) %}
SELECT * FROM
{{ source('dbo', 'LeaversReport') }}
WHERE Employee_ID = '{{ condition_value }}'
{% endmacro %}

（后续扩展到日期条件时，只需修改WHERE子句的逻辑即可）

步骤2：动态生成模型文件

编写一个宏来批量生成模型文件，比如macros/generate_leaver_models.sql：

{% macro generate_leaver_models() %}
-- 从种子文件或数据源获取所有需要处理的条件值
{% set condition_results = run_query("SELECT employee_id FROM " ~ ref('employee_ids')) %}
{% set condition_values = condition_results.columns[0].values() %}

{% for val in condition_values %}
{% set model_name = "leaver_" ~ val %}
{% set model_file_path = "models/individual_leavers/" ~ model_name ~ ".sql" %}

-- 调用宏生成单模型的SQL语句
{% set model_sql = get_leaver_sql(val) %}

-- 写入模型文件
{{ write_file(model_file_path, model_sql) }}
{% endfor %}
{% endmacro %}

• 提前创建种子文件data/employee_ids.csv存储需要处理的员工ID，内容示例：

  employee_id
  1104
  9891
  

• 运行dbt seed加载种子文件。

步骤3：生成并运行模型

1. 执行命令生成模型文件：

dbt run-operation generate_leaver_models

2. 运行所有生成的模型：

dbt run --models individual_leavers.*

内容的提问来源于stack exchange，提问作者user23464334