环境配置无误却遇Torch未编译CUDA支持错误，求解决方案

问题场景 #

在Linux终端的conda虚拟环境中，通过以下代码加载大语言模型并自动分配设备：

model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

执行model.generate(...).to(cuda)时触发错误：

AssertionError: Torch not compiled with CUDA enabled

同时torch.cuda.is_available()返回False，无法调用CUDA加速。

已做排查 #

• 运行nvidia-smi确认显卡驱动支持最高CUDA版本为12.0
• 运行nvcc --version确认系统CUDA版本为11.8
• 已根据系统配置下载对应PyTorch安装包，多次卸载重装均未解决问题

有效解决方案 #

1. 新建干净的conda虚拟环境
2. 在新环境中执行以下命令重新安装PyTorch：

   python3 -m pip install pytorch
   

3. 验证：安装完成后torch.__version__显示为'2.3.1+cu121'（此前仅显示2.3.1，无CUDA版本后缀），此时torch.cuda.is_available()返回True，模型可正常调用CUDA运行。

内容的提问来源于stack exchange，提问作者aureum