conda环境下PyTorch 1.9调用CUDA报未知RuntimeError的求助

已确认的环境基线 #

• 系统NVIDIA驱动运行版本：460.39，最高支持CUDA 11.2
• 系统CUDA编译工具版本：11.2.152
• Conda虚拟环境内PyTorch版本：1.9.0a0，内置CUDA支持版本11.2
• 已识别GPU：GeForce RTX 3070，通过nvidia-smi可被系统层面正常识别
• 报错触发场景：执行torch.cuda.current_device()时，底层调用torch._C._cuda_init()抛出异常，提示CUDA未知错误，提示可检查CUDA_VISIBLE_DEVICES类环境变量配置问题

分步排查操作 #

• 第一步：重置NVIDIA驱动用户态模块
  GPU驱动上下文状态卡死是这类报错最常见的诱因，尤其是多进程长期占用GPU后容易出现状态异常。操作命令：

  # 关闭所有占用GPU的进程后执行，需要sudo权限
  sudo rmmod nvidia_uvm
  sudo modprobe nvidia_uvm
  

  注意：操作未关闭GPU进程时会触发内核级报错，需先通过nvidia-smi查到所有占用GPU的PID并终止
  操作完成后重新进入Python交互环境，测试torch.cuda.is_available()是否返回True。
• 第二步：校验环境变量配置
  报错提示已明确指向环境变量配置异常的可能性，逐项目排查：
  • 终端执行echo $CUDA_VISIBLE_DEVICES，确认输出内容无拼写错误、空值或无效设备ID
  • 检查pytorch虚拟环境的激活脚本路径~/anaconda3/envs/pytorch/etc/conda/activate.d/下的所有配置文件，确认没有在环境激活时强行将CUDA_VISIBLE_DEVICES设置为不存在的设备值
  • 临时验证：手动执行export CUDA_VISIBLE_DEVICES=0，重新进入Python环境测试CUDA调用是否正常
• 第三步：排查CUDA库路径冲突
  PyTorch加载的CUDA运行时库与系统CUDA库版本不匹配时，会直接触发初始化失败。排查操作：
  • Python交互环境下执行torch.utils.cpp_extension.CUDA_HOME，确认输出路径与nvcc -V查到的CUDA实际安装路径一致
  • 若路径存在偏差，在pytorch虚拟环境的激活脚本中追加路径配置，确保PyTorch能加载到正确版本的CUDA库：

    export CUDA_HOME=/usr/local/cuda-11.2
    export PATH=$CUDA_HOME/bin:$PATH
    export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
    

• 第四步：核对驱动版本一致性
  从提供的nvidia-smi输出看，工具自带的版本号（460.67）与实际运行的驱动版本（460.39）存在错位，这类版本错配会导致CUDA初始化时的ABI校验失败。排查操作：
  • 执行cat /proc/driver/nvidia/version，确认实际运行的驱动版本与nvidia-smi输出的Driver Version字段一致
  • 若存在版本错位，重新安装与460.39驱动版本匹配的CUDA运行时库，避免使用绑定CUDA 11.3及以上版本的PyTorch安装包
• 第五步：校验GPU访问权限与模式
  部分系统默认限制普通用户的GPU计算访问权限，会触发CUDA初始化失败。排查操作：
  • 执行nvidia-smi -q | grep "Compute Mode"查看GPU计算模式
  • 若计算模式为Prohibited，临时切换为默认模式测试：sudo nvidia-smi -c DEFAULT
  • 确认当前登录用户已加入video、render用户组，若未加入执行：sudo usermod -aG video,render $USER，重启终端后权限生效

内容的提问来源于stack exchange，提问作者Vinoth Kumar S