启动调用LLM的Gradio后端时CUDA异常及模型加载问题求助

1. CUDA设备忙/不可用但nvidia-smi显示GPU利用率0% #

• 清理残留GPU进程：执行nvidia-smi查看占用GPU的PID，用kill -9 <PID>强制终止无关进程
• 验证PyTorch与系统CUDA版本匹配：运行以下命令检查版本：

  import torch
  print(torch.cuda.is_available())
  print(torch.version.cuda)
  

  对比nvcc --version的输出，版本不匹配则重新安装对应CUDA版本的PyTorch
• 重启GPU驱动（Linux）：执行sudo systemctl restart nvidia-persistenced，或直接重启机器

2. 提示需安装Accelerate和bitsandbytes以支持load_in_8bit=True #

• 直接安装依赖：

  pip install accelerate bitsandbytes
  

  若使用conda环境：

  conda install -c conda-forge accelerate bitsandbytes
  

  注意：Windows系统下bitsandbytes需要额外配置，建议优先使用Linux环境

3. Llama-2-7b-chat-hf加载时显存不足，模块被分配到CPU/磁盘 #

• 启用8bit量化：确保已安装Accelerate和bitsandbytes，加载模型时添加参数：

  from transformers import AutoModelForCausalLM
  model = AutoModelForCausalLM.from_pretrained(
      "meta-llama/Llama-2-7b-chat-hf",
      load_in_8bit=True,
      device_map="auto",
      trust_remote_code=True
  )
  

• 启用4bit量化（更节省显存）：安装最新版transformers和bitsandbytes，使用以下参数：

  model = AutoModelForCausalLM.from_pretrained(
      "meta-llama/Llama-2-7b-chat-hf",
      load_in_4bit=True,
      bnb_4bit_use_double_quant=True,
      bnb_4bit_quant_type="nf4",
      bnb_4bit_compute_dtype=torch.bfloat16,
      device_map="auto"
  )
  

• 降低上下文窗口大小：加载模型时设置max_seq_length=1024，减少显存占用
• 关闭后台占用GPU的程序：比如浏览器、其他Python进程等

4. Llama-2安装时Git LFS下载问题，但单独加载模型成功 #

• 确认Git LFS已安装并初始化：

  git lfs install
  

  未安装则先安装：Linux用sudo apt install git-lfs，macOS用brew install git-lfs
• 重新拉取大文件：进入模型存储目录，执行git lfs pull
• 手动补全缺失文件：若Git LFS拉取失败，直接从Hugging Face Hub下载对应权重文件，放入模型目录的对应路径

内容的提问来源于stack exchange，提问作者Revolucion for Monica