本地运行Spacy-LLM+Llama 2进行NER时遇CUDA相关错误求助

API 探路者

2026-7-5

排查Spacy-LLM（Llama 2）NER功能GPU运行报错的步骤

验证CUDA环境变量配置
运行echo $CUDA_HOME和echo $PATH | grep cuda，确认输出包含CUDA 11.2的安装路径（比如/usr/local/cuda-11.2）。如果无输出，手动添加环境变量：
```
export CUDA_HOME=/usr/local/cuda-11.2
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
```
检查PyTorch与CUDA的兼容性
Spacy-LLM依赖PyTorch，运行python -c "import torch; print(torch.cuda.is_available())"，若返回False，说明PyTorch未关联CUDA 11.2。卸载现有PyTorch后重装对应版本：
```
pip uninstall torch
pip install torch==1.13.1+cu112 torchvision==0.14.1+cu112 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu112
```
确认配置文件的GPU指定
打开config.cfg，检查LLM组件的device参数是否设为cuda:0（对应NVIDIA GPU），示例配置片段：
```
[components.llm]
@llm_models = "spacy.Llama2.v1"
name = "meta-llama/Llama-2-7b-chat-hf"
device = "cuda:0"
```
双GPU环境下必须明确指定NVIDIA GPU，避免系统默认调用Intel集成显卡导致CUDA不可用。
验证CuPy的CUDA调用能力
运行python -c "import cupy; print(cupy.cuda.Device(0).name())"，若能输出NVIDIA显卡名称则CuPy正常；若报错，说明版本不匹配，重装对应版本：
```
pip uninstall cupy-cuda112
pip install cupy-cuda112==12.0.0
```
安装并验证accelerate库
部分LLM加载逻辑依赖accelerate，运行pip list | grep accelerate，若无结果则执行：
```
pip install accelerate
```
安装完成后重新测试脚本。