dbt执行build/run命令触发Segmentation Fault段错误问题求助

• 执行dbt build命令无明确诱因触发Segmentation Fault（段错误）
• 故障初期dbt run命令可正常运行，后续执行dbt run也会触发相同报错
• 故障现场截图：
  

添加--debug参数执行的完整运行日志片段如下：

select *
from fields
      );
07:36:17.280015 [debug] [Thread-3  ]: Using snowflake connection "model.hubspot_source.stg_hubspot__engagement_task"
07:36:17.288681 [debug] [Thread-3  ]: On model.hubspot_source.stg_hubspot__engagement_task: /* {"app": "dbt", "dbt_version": "1.1.1", "profile_name": "<profile>", "target_name": "development", "node_id": "model.hubspot_source.stg_hubspot__engagement_task"} */

    select completion_date from analytics_dev.dbt_dawid_stg_hubspot.stg_hubspot__engagement_task_tmp where completion_date is not null limit 1
07:36:17.887152 [debug] [Thread-3  ]: SQL status: SUCCESS 1 in 0.6 seconds
Segmentation fault

从日志可以定位到，段错误触发点在Snowflake连接器成功拉取stg_hubspot__engagement_task模型的探测查询结果之后，属于dbt 1.1.x版本对接Snowflake时的典型问题，触发原因集中在三类：

• 二进制依赖兼容冲突：dbt 1.1.1依赖的snowflake-connector-python包含C语言编写的动态链接扩展，如果本地Python环境、系统OpenSSL/libcrypto底层库和安装的连接器编译版本不匹配，在做查询结果内存序列化时会触发非法内存访问，直接抛出段错误。这类问题最常出现在复用系统全局Python环境、混用conda/pip源安装包的场景，初期小查询内存占用低不会触发异常，运行到特定结果解析逻辑时就会稳定复现。
• 多线程资源踩踏：dbt默认线程数设置过高（通常是大于4）时，1.1.x版本绑定的旧版Snowflake连接器存在线程安全缺陷，多个执行线程同时复用连接句柄解析结果时会出现内存越界。故障初期线程调度未撞上竞争条件时dbt run可正常执行，多次运行后撞上竞争条件就会持续报错。
• 本地缓存损坏：dbt项目target目录下的编译临时文件、连接器本地缓存文件损坏后，C扩展读取缓存时没有做边界校验，解析损坏二进制内容时会直接触发段错误。

按优先级从高到低操作即可：

1. 先清理缓存、降低线程数验证：
   执行以下命令清理本地编译缓存：

   dbt clean
   

   清理完成后用单线程模式重跑，排除线程冲突问题：

   dbt build --threads 1 --debug
   

   如果单线程模式下运行正常，直接将profiles.yml里对应target的threads参数永久调整为2-3，避开旧版连接器的线程安全bug即可。
2. 重建干净虚拟环境修复依赖冲突：
   不要复用全局Python环境的包，新建独立虚拟环境重装对应版本的dbt组件：

   # 卸载全局环境中已安装的dbt相关包
   pip uninstall -y dbt-core dbt-snowflake snowflake-connector-python
   # 新建独立虚拟环境
   python -m venv dbt_venv
   # 激活虚拟环境：Windows系统执行 dbt_venv\Scripts\activate，Mac/Linux系统执行以下命令
   source dbt_venv/bin/activate
   # 安装适配1.1.1版本的dbt-snowflake，会自动拉取版本匹配的官方编译snowflake连接器
   pip install dbt-snowflake==1.1.1
   

   注意不要单独将snowflake-connector-python升级到3.1.0以上版本，dbt 1.1.1对高版本连接器没有做兼容适配，强行升级反而会触发其他异常。
3. 版本兜底：
   如果以上操作都无法解决问题，直接将dbt-core、dbt-snowflake升级到1.5.x以上的长期支持版本，新版本已经修复了绝大多数Snowflake连接器相关的段错误问题。

内容的提问来源于stack exchange，提问作者Moseleyi