能否在DBT项目中使用非DBT专属的常规Python库？

首先明确：dbt deps是用来安装DBT专属包的，不是用来管理Python库的，你完全可以在DBT项目中使用普通Python库，不需要把它们当成DBT包来处理。下面是具体实现方式：

方法1：直接在Python模型中导入使用 #

从dbt 1.3版本开始支持Python模型，你可以直接在Python模型文件（.py）里导入目标Python库，前提是该库已安装在运行dbt的环境中：

1. 用pip安装目标库：

   pip install 你的-python库名称
   

2. 在dbt的Python模型中直接导入并使用：

   def model(dbt, session):
       dbt.config(materialized="table")
       # 导入目标Python库
       import 你的-python库名称
       # 调用库的功能完成业务逻辑
       data = 你的-python库名称.目标函数()
       # 返回DataFrame供dbt处理
       return session.create_dataframe(data)
   

方法2：本地自定义Python模块导入（未发布到PyPI的库） #

如果你的Python库是本地自定义、未上传到PyPI的模块，可以通过以下步骤导入：

1. 将你的Python库目录放在dbt项目内，比如在项目根目录创建local_packages文件夹，把库文件放入其中。
2. 在Python模型文件中，先将该目录添加到Python的系统路径，再导入模块：

   import sys
   from pathlib import Path
   
   # 获取当前dbt项目根目录路径
   project_root = Path(__file__).parent.parent.parent
   # 将本地库所在路径添加到sys.path
   sys.path.append(str(project_root / "local_packages"))
   
   def model(dbt, session):
       dbt.config(materialized="table")
       # 导入本地自定义库
       import 你的本地库名称
       # 编写业务逻辑
       return session.create_dataframe(...)
   

注意事项 #

• 确保运行dbt的环境（本地开发环境、Snowflake的Python仓库、CI/CD环境等）都已安装目标Python库。如果是Snowflake环境，需要通过Snowflake的包管理功能（比如CREATE OR REPLACE PYTHON PACKAGE语句、Snowflake UI操作）完成库的安装。
• 不要用dbt deps安装普通Python库，这个命令仅适用于包含dbt_project.yml的DBT专属包。

内容的提问来源于stack exchange，提问作者Nat