pip安装CUDA11.1适配的torch1.9.x出现内存错误怎么解决

排查步骤 #

• 明确错误属性：该报错指向的是系统运行内存（RAM）不足，和你排查的home目录磁盘存储空间无关，pip读取大体积安装包缓存时需要占用连续的运行内存空间，空间不足就会触发该错误。
• 验证可用运行内存：执行free -h查看当前系统空闲运行内存，适配CUDA11.1的torch1.9.0安装包体积超过1G，读取缓存时通常需要至少2G空闲内存才能正常完成。
• 检查缓存文件状态：执行pip cache dir查看pip缓存目录路径，确认目录下对应版本的torch、torchvision、torchaudio安装包缓存是否存在下载不完全的损坏文件，损坏文件读取时也可能异常占用内存触发报错。

解决方案 #

• 禁用pip缓存直接安装
  跳过缓存读写环节，直接边下载边安装，规避内存占用问题，执行命令：

  pip3 install --no-cache-dir torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
  

• 清理pip缓存后重试
  先执行pip cache purge清空所有pip历史缓存文件，再重新执行原安装命令即可。
• 释放运行内存后安装
  关闭当前系统中占用大量内存的无用进程，包括IDE、浏览器、后台运行的训练任务等，空闲出足够内存后再执行安装命令。
• 离线安装
  手动下载对应版本的三个whl安装包到本地后，执行pip3 install 本地whl文件路径完成安装。

内容的提问来源于stack exchange，提问作者Charlie Parker