Ubuntu 20.04执行nvidia-smi提示NVML初始化失败：驱动/库版本不匹配

问题背景 #

执行nvidia-smi时出现错误：

Failed to initialize NVML: Driver/library version mismatch

但nvcc --version显示CUDA版本为11.3，说明内核加载的NVIDIA驱动模块与用户空间的CUDA库版本不兼容。

解决方案步骤 #

• 先确认版本差异
  分别执行以下命令查看内核驱动版本和nvidia-smi对应的驱动版本：

  cat /proc/driver/nvidia/version
  

  /usr/bin/nvidia-smi --version
  

  若两个版本不一致，就是问题根源。

• 优先尝试重启系统
  很多情况下，更新驱动后未重启导致旧模块仍在加载，重启即可解决：

  sudo reboot
  

  重启后再次运行nvidia-smi验证。

• 手动卸载并重新加载驱动模块
  如果重启无效，手动清理旧模块：

  1. 终止NVIDIA相关进程：

     sudo systemctl stop nvidia-persistenced
     sudo killall nvidia-smi
     

  2. 卸载内核模块（若提示模块被占用，先关闭所有GPU相关程序，或切换到tty终端（Ctrl+Alt+F3）操作）：

     sudo rmmod nvidia_drm
     sudo rmmod nvidia_modeset
     sudo rmmod nvidia_uvm
     sudo rmmod nvidia
     

  3. 重新加载模块：

     sudo modprobe nvidia
     sudo modprobe nvidia_modeset
     sudo modprobe nvidia_drm
     sudo modprobe nvidia_uvm
     

  4. 启动持久化服务：

     sudo systemctl start nvidia-persistenced
     

  完成后再次运行nvidia-smi检查。

• 验证版本兼容性
  CUDA 11.3要求的最低NVIDIA驱动版本为465.19.01，若当前驱动版本低于此，需升级驱动；或降级CUDA到匹配现有驱动的版本。

• 重新安装匹配的驱动与CUDA
  若版本完全不兼容，彻底清理后重新安装：

  1. 卸载现有驱动和CUDA：

     sudo apt purge nvidia*
     sudo apt autoremove
     sudo rm -rf /usr/local/cuda*
     

  2. 安装适配CUDA 11.3的驱动：

     sudo apt install nvidia-driver-465
     

  3. 重新安装CUDA 11.3，确保环境变量配置正确（如将/usr/local/cuda-11.3/bin加入PATH）。

内容的提问来源于stack exchange，提问作者Jasurbek