Debian 11系统中PyTorch无法识别CUDA设备的解决方法

问题根源 #

CUDA环境未正确加载，导致PyTorch无法检测到GPU，而模型默认尝试加载到CUDA设备，触发反序列化错误。

分步解决措施 #

• 验证CUDA基础环境有效性

  1. 终端执行nvidia-smi，确认能正常显示GPU型号、驱动版本及CUDA版本，驱动需满足CUDA 11.7的最低要求（≥450.80.02）。若无法显示，需重新安装适配Debian 11的NVIDIA驱动。
  2. 激活目标conda环境后执行nvcc --version，确认输出的CUDA版本为11.7，若不符则检查CUDA路径配置。

• 修复conda环境的CUDA环境变量

  1. 激活环境后执行以下命令临时配置：

     export CUDA_HOME=/usr/local/cuda-11.7
     export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
     

  2. 持久化配置：将上述命令添加到~/.bashrc文件末尾，或conda环境的activate.d目录下的自定义脚本中（路径为~/miniconda3/envs/your_env/etc/conda/activate.d/env_vars.sh）。

• 重新安装适配CUDA 11.7的PyTorch

  1. 卸载现有PyTorch组件：

     pip uninstall torch torchvision torchaudio -y
     

  2. 通过conda安装适配版本：

     conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
     

  3. 验证：进入Python交互环境执行import torch; print(torch.cuda.is_available())，输出True则表示PyTorch已成功识别GPU。

• CPU应急方案
  若GPU环境暂时无法修复，可强制以CPU模式启动text-generation-webui，执行命令：

  python server.py --cpu
  

内容的提问来源于stack exchange，提问作者Tony I.