如何在DBT中从文件加载列表用于SQL查询？

步骤1：存放水果列表文件 #

将你的水果列表文件（比如命名为fruits.txt）放在DBT项目的data目录下，文件格式保持每行一个水果名称：

apple
banana
orange
melon
...

步骤2：编写正确的DBT Macro #

你之前的Macro存在语法冗余问题（重复写fruit IN会导致SQL报错），以下是修正后的完整Macro，实现从文件读取并处理列表：

{% macro list_of_fruits() %}
    {% set fruit_file_path = 'data/fruits.txt' %}
    {% set file_content = load_file(fruit_file_path) %}
    {% set fruit_list = file_content.split('\n') | reject('equalto', '') | list %}
    {% set quoted_fruits = fruit_list | map('quote') | list %}
    ({{ quoted_fruits | join(', ') }})
{% endmacro %}

代码说明：

• fruit_file_path：定义水果文件的路径，相对于DBT项目根目录
• load_file：DBT内置函数，用于读取指定路径的文件内容
• split('\n')：将文件内容按换行符分割成列表
• reject('equalto', '')：过滤掉列表中的空元素（避免文件末尾空行导致无效值）
• map('quote')：给每个水果名称添加单引号，符合SQL字符串格式要求
• 最后将处理后的列表用逗号连接，包裹在括号中，直接适配IN语句的语法

步骤3：在SQL模型中使用Macro #

保持你原来的SQL写法即可，Macro会自动替换为正确的水果列表：

select
   fruit
from
   {{ ref('other_model') }}
where
   fruit in {{ list_of_fruits() }}

注意事项 #

• 确保使用DBT 0.19.0及以上版本，load_file函数是这个版本之后才引入的
• 如果水果文件不在data目录，需调整fruit_file_path为相对于项目根目录的正确路径
• 检查fruits.txt文件，避免每行末尾有多余空格或特殊字符，否则会影响查询结果

内容的提问来源于stack exchange，提问作者YFl