加载HuggingFace T5模型时出现Undefined symbol错误求助

问题描述 #

在Python中通过HuggingFace transformers库加载T5模型时触发错误，核心报错为导入fused_layer_norm_cuda时遭遇未定义符号：_ZN8pybind116detail11type_casterIN3c108ArrayRefIlEEvE4loadENS_6handleEb，直接执行import fused_layer_norm_cuda也可复现该错误。测试代码如下：

import pytorch
import transformers
from transformers import AutoModelForSeq2SeqLM

plm = AutoModelForSeq2SeqLM.from_pretrained('t5-small')

环境信息 #

• 操作系统：Debian（无集群管理员权限）
• 运行环境：NVIDIA提供的Singularity容器（基于Docker构建），内置Python 3.8、CUDA 11.8、PyTorch 1.12.1+cu102

已尝试操作 #

• 安装适配CUDA 11.6的PyTorch：

singularity exec --nv $container pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio -f https://download.pytorch.org/whl/torch_stable.html

• 安装最新版Apex：

singularity exec --nv $container pip install git+https://github.com/NVIDIA/apex.git

以上操作均未解决问题。

原因分析 #

该错误本质是CUDA版本、PyTorch版本、扩展库编译依赖的pybind11版本三者不匹配：

1. 容器内置CUDA 11.8，但初始PyTorch为1.12.1+cu102，CUDA运行时版本与PyTorch编译版本完全不兼容；后续安装的cu116版本PyTorch仍与容器CUDA 11.8存在版本差，导致底层CUDA扩展加载时符号不匹配。
2. fused_layer_norm_cuda作为PyTorch的CUDA扩展，其编译依赖的pybind11版本与当前环境中PyTorch内置的pybind11版本不一致，导致符号查找失败。
3. 直接通过pip安装Apex未指定与当前PyTorch、CUDA匹配的版本，反而引入了冲突的扩展库。

解决方案建议 #

方案1：安装与容器CUDA版本完全匹配的PyTorch及适配Apex #

容器为CUDA 11.8，安装对应版本的PyTorch，再从源码编译适配的Apex：

# 安装CUDA 11.8匹配的PyTorch
singularity exec --nv $container pip install torch==1.13.1+cu118 torchvision==0.14.1+cu118 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu118

# 卸载冲突的Apex并重新编译安装
singularity exec --nv $container pip uninstall -y apex
singularity exec --nv $container git clone https://github.com/NVIDIA/apex.git
singularity exec --nv $container cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

方案2：禁用fused layer norm绕开扩展加载问题 #

无需修改环境，在加载模型时通过配置禁用fused layer norm，避免加载有问题的CUDA扩展：

from transformers import AutoModelForSeq2SeqLM, AutoConfig

config = AutoConfig.from_pretrained('t5-small', use_fused_layer_norm=False)
plm = AutoModelForSeq2SeqLM.from_pretrained('t5-small', config=config)

该方法会损失少量性能，但适合无管理员权限的场景。

方案3：更换版本匹配的官方Singularity容器 #

若允许更换容器，直接使用NVIDIA官方提供的PyTorch容器，确保CUDA、PyTorch版本完全匹配，例如nvcr.io/nvidia/pytorch:22.12-py3（内置CUDA 11.8、PyTorch 1.13.1），避免手动安装带来的版本冲突。

内容的提问来源于stack exchange，提问作者BioBroo