Google Colab中cuBLAS、cuFFT、cuDNN注册警告及会话崩溃问题求助

错误原因分析 #

你遇到的cuDNN/cuFFT/cuBLAS重复注册错误，本质是Colab默认环境中TensorFlow与PyTorch的CUDA组件冲突导致的——两者都尝试注册同一CUDA插件工厂，触发资源占用冲突；而TensorRT未找到的警告属于非关键提示，不会直接导致会话崩溃。13B模型未触发该冲突，是因为其加载逻辑与7B模型的显存分配、初始化流程存在差异。

具体解决步骤 #

1. 清理冲突的TensorFlow环境 #

在运行时最开头执行以下命令，卸载Colab预装的TensorFlow及其关联组件：

!pip uninstall -y tensorflow tensorflow-gpu tensorboard tensorflow-data-validation

2. 重装适配T4 GPU的PyTorch环境 #

安装与Colab T4 GPU兼容的PyTorch版本（CUDA 11.8）：

!pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 配置PyTorch CUDA上下文（加载模型前执行） #

添加代码强制PyTorch独占CUDA设备，避免组件冲突：

import torch
# 指定使用第0块GPU（Colab单GPU环境）
torch.cuda.set_device(0)
# 关闭cudnn自动优化，避免冲突
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True

4. 优化7B模型加载策略（避免隐性显存溢出） #

启用4-bit量化加载模型，降低显存占用，同时适配T4 GPU：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/Wizard-Vicuna-7B-Uncensored-HF",
    load_in_4bit=True,
    device_map='auto',
    torch_dtype=torch.float16,
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("TheBloke/Wizard-Vicuna-7B-Uncensored-HF")

5. 重置运行时后按顺序执行 #

完成上述步骤后，点击Colab顶部菜单栏Runtime > Restart runtime，重启后先执行卸载、重装命令，再运行模型加载代码，全程不要执行任何TensorFlow相关的代码。

内容的提问来源于stack exchange，提问作者chams-sc