Databricks中dbt的dbt_utils.SHA2()函数无法识别的问题求助

问题原因 #

1. 未正确安装或配置dbt_utils包，导致无法识别dbt_utils.sha2宏
2. 自定义宏的路径或命名空间配置错误，dbt未加载到自定义宏

解决方案 #

方案一：使用dbt_utils官方宏 #

1. 配置dbt_utils依赖
   在项目根目录创建或修改packages.yml，添加dbt_utils包：

   packages:
     - package: dbt-labs/dbt_utils
       version: 1.1.1 # 建议使用最新稳定版本
   

2. 安装依赖
   运行以下命令安装dbt_utils：

   dbt deps
   

3. 验证调用语法
   确保模型中的调用语法正确，参数为列名列表和哈希位数：

   {{ dbt_utils.sha2(['a.id', 'a.created_at'], 256) }} as dim_product_hkey
   

方案二：自定义适配Databricks的SHA256宏 #

如果不想依赖dbt_utils，可自行编写宏：

1. 创建宏文件
   在项目的macros目录下（或子目录如macros/hashing）创建sha2.sql文件，内容如下：

   {% macro sha2(cols, bits=256) %}
     sha2(
       concat(
         {% for col in cols %}
           coalesce(cast({{ col }} as string), ''){% if not loop.last %} || '|' || {% endif %}
         {% endfor %}
       ),
       {{ bits }}
     )
   {% endmacro %}
   

   注：使用coalesce避免NULL值导致哈希失效，添加分隔符|防止不同列值拼接后产生冲突。

2. 修改模型调用
   去掉dbt_utils前缀，直接调用自定义宏：

   {{ sha2(['a.id', 'a.created_at'], 256) }} as dim_product_hkey
   

3. 清理缓存并重新编译
   运行以下命令清理dbt缓存，确保宏被正确加载：

   dbt clean
   dbt compile
   

验证结果 #

修改完成后，运行dbt run测试模型，若编译成功且生成的SQL包含sha2(concat(...), 256)语句，则说明宏生效。

内容的提问来源于stack exchange，提问作者Chandra