Ubuntu18.04虚拟环境下源码编译PyTorch1.4.0无法识别NumPy的问题排查
编译配置OFF异常修正方案
一、NumPy支持未开启的触发原因与修复
- 残留编译缓存:首次编译未安装NumPy时,CMake已将
USE_NUMPY=OFF写入build目录缓存,后续重编译会直接复用旧配置,不会重新触发检测逻辑 - NumPy版本不兼容:PyTorch v1.4.0发布时官方适配NumPy最高版本为1.18.x,1.19.4版本的头文件结构、API变动会直接导致CMake检测失败
- 依赖安装路径错位:如果使用全局
sudo pip3安装NumPy,而编译时调用的是虚拟环境下的Python解释器,会因路径不匹配找不到NumPy头文件
对应修复操作:
- 进入PyTorch源码目录,删除旧的编译产物:
rm -rf build/ torch.egg-info/,同时卸载之前编译安装的异常PyTorch包:pip uninstall -y torch - 确认已激活对应虚拟环境,在环境内直接执行(不要加sudo):
pip install numpy==1.18.5错误的sudo操作会将NumPy装到全局路径,导致虚拟环境编译时无法识别 - 安装完成后验证环境有效性:
python -c "import numpy; print(numpy.get_include())",输出正常路径无报错即可继续后续操作
二、CuDNN识别为OFF的触发原因与排查
- 仅安装CuDNN运行时库,未安装对应的开发包(包含头文件),CMake检测不到
cudnn.h文件 - CuDNN动态库、头文件的安装路径未加入系统搜索路径,超出CMake默认检索范围
- 同样受旧编译缓存影响,复用了无CuDNN环境下的配置值
对应排查与修复:
- 先执行
find /usr -name "cudnn.h"确认开发包是否安装,无输出则需补装CuDNN开发组件 - 根据实际安装路径配置环境变量:
export CUDA_HOME=/usr/local/cuda-10.2 export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH export CPATH=$CUDA_HOME/include:/usr/include:$CPATH - 可直接强制开启对应功能的编译开关,避免自动检测异常:
export USE_NUMPY=1 export USE_CUDNN=1
三、修正后的完整编译流程
# 拉取指定版本源码 git clone --branch v1.4.0 <pytorch源码仓库地址> pytorch-1.4.0 cd pytorch-1.4.0/ git submodule update --init --recursive cd ../ # 安装系统依赖 sudo apt install cmake python3-venv -y sudo apt-get update # 初始化激活虚拟环境 python3 -m venv venv/ source venv/bin/activate # 虚拟环境内安装编译依赖 cd pytorch-1.4.0/ pip install pyyaml numpy==1.18.5 # 配置CUDA/CuDNN环境变量 export CUDA_HOME=/usr/local/cuda-10.2 export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH export CPATH=$CUDA_HOME/include:/usr/include:$CPATH export USE_NUMPY=1 export USE_CUDNN=1 # 清理旧缓存 rm -rf build/ torch.egg-info/ pip uninstall -y torch # 执行编译安装 python3 setup.py install # 编译启动后首先会输出CMake配置列表,确认`USE_NUMPY: ON`、`USE_CUDNN: ON`后再等待编译完成,避免无效等待 # 编译对应版本torchvision cd ../ git clone --branch v0.5.0 <torchvision源码仓库地址> torchvision-0.5.0 cd torchvision-0.5.0/ rm -rf build/ vision.egg-info/ python3 setup.py install cd ../
内容的提问来源于stack exchange,提问作者Wessel Ottevanger
相关产品推荐
相关产品推荐

