VLLM安装失败：运行Vicuna 7B-16k时遇模块缺失及编译错误

核心原因 #

vLLM对Windows原生环境支持不完善，直接通过pip install vllm会触发编译错误，且CUDA环境变量未正确关联到编译过程。

可行解决方案 #

方案1：使用WSL2（推荐） #

Windows上运行vLLM最稳定的方式是通过WSL2（Windows Subsystem for Linux）：

• 启用WSL2并安装Ubuntu发行版
• 在WSL2内配置CUDA（推荐版本11.8/12.1，需与vLLM要求匹配）
• 激活Python虚拟环境后执行：

  pip install vllm
  

方案2：使用预编译的vLLM wheel包（Windows原生） #

若不想用WSL2，可尝试社区提供的预编译wheel：

1. 确认你的Python版本（3.8-3.11）和CUDA版本（11.8/12.1）
2. 下载对应版本的预编译wheel包
3. 执行本地安装：

   pip install path/to/vllm-xxx-cp3x-none-win_amd64.whl
   

方案3：修复CUDA环境变量并强制指定版本安装 #

若坚持原生编译，需确保CUDA环境变量完全生效：

1. 打开系统环境变量，将CUDA_PATH指向正确的CUDA安装目录（如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1）
2. 将CUDA_PATH\bin添加到系统PATH最顶部
3. 重启终端，验证nvcc --version能正常输出版本号
4. 安装时强制指定CUDA版本：

   pip install vllm --force-reinstall --no-cache-dir --extra-index-url https://download.pytorch.org/whl/cu121
   

额外检查项 #

• 确保虚拟环境内numpy正确安装：

  pip install numpy==1.26.4 --force-reinstall
  

• 确认PyTorch版本与CUDA版本兼容：

  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
  

内容的提问来源于stack exchange，提问作者Priyabrata Pradhan