如何在Python 3.11与PyTorch 2.2.2环境中使用vLLM？

尝试在Python 3.11 + PyTorch 2.2.2环境中使用vLLM库，已知vLLM 0.4.1支持Python 3.11，但pip安装时出现PyTorch版本兼容问题：

• 直接执行pip install vllm会提示依赖torch==2.1.2，与已安装的2.2.2版本冲突
• 先安装PyTorch 2.2.2再安装vLLM，会出现编译wheel失败的错误

需明确：

1. vLLM、PyTorch与Python的兼容版本范围
2. 如何在Python 3.11 + PyTorch 2.2.2环境中完成干净的vLLM安装

• vLLM 0.4.x官方预编译包：依赖PyTorch 2.1.x系列，支持Python 3.8~3.11
• 适配PyTorch 2.2.x：需通过源码编译vLLM，社区已验证vLLM 0.4.1源码编译后可兼容PyTorch 2.2.2 + Python 3.11

以下为干净的conda环境配置流程：

1. 创建并激活conda环境 #

conda create -n vllm_test python=3.11 -y
conda activate vllm_test

2. 安装PyTorch 2.2.2 #

根据你的CUDA版本选择对应命令，以CUDA 12.1为例：

pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu121

若使用CPU或其他CUDA版本，替换为PyTorch官方提供的对应安装命令即可

3. 安装编译依赖 #

conda install -y gcc_linux-64 gxx_linux-64
pip install setuptools wheel

4. 从源码编译安装vLLM #

git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

编译耗时约10~20分钟，具体取决于硬件配置

5. 验证安装 #

python -c "from vllm import LLM; llm = LLM(model='tinyllama/tinyllama-1.1b-chat-v1.0'); outputs = llm.generate('Hello, world!'); print(outputs[0].outputs[0].text)"

若能正常输出生成文本，说明安装成功

内容的提问来源于stack exchange，提问作者Charlie Parker