Kubernetes GPU设备插件需挂载哪些目录以让容器识别NVIDIA驱动？

核心挂载目录说明 #

容器要识别NVIDIA驱动，不需要挂载整个/usr/local/nvidia，而是需要以下几个关键路径，拆分挂载可避免目录结构冲突导致的启动错误：

• /usr/lib/nvidia：存放驱动核心动态库（如libcuda.so），是容器调用GPU的基础依赖
• /dev/nvidia*：GPU物理设备节点，必须挂载才能让容器访问硬件
• /sys/bus/pci/drivers/nvidia：维持驱动与PCI设备的关联，确保设备正常初始化
• /usr/bin/nvidia-smi：可选，挂载后可在容器内直接查看GPU状态

修正挂载配置解决CreateContainerError #

之前挂载/usr/local/nvidia报错，本质是宿主机该目录与容器内CUDA预装的目录结构冲突，或权限不匹配。以下是设备插件中正确的挂载配置示例（YAML片段）：

# 定义宿主机卷
volumes:
  - name: nvidia-libs
    hostPath:
      path: /usr/lib/nvidia
      type: Directory
  - name: nvidia-dev
    hostPath:
      path: /dev/nvidia0
      type: CharDevice
  - name: nvidia-modeset
    hostPath:
      path: /dev/nvidia-modeset
      type: CharDevice
  - name: nvidia-uvm
    hostPath:
      path: /dev/nvidia-uvm
      type: CharDevice
  - name: nvidia-smi
    hostPath:
      path: /usr/bin/nvidia-smi
      type: File

# 容器挂载配置
volumeMounts:
  - name: nvidia-libs
    mountPath: /usr/lib/nvidia
    readOnly: true
  - name: nvidia-dev
    mountPath: /dev/nvidia0
  - name: nvidia-modeset
    mountPath: /dev/nvidia-modeset
  - name: nvidia-uvm
    mountPath: /dev/nvidia-uvm
  - name: nvidia-smi
    mountPath: /usr/bin/nvidia-smi

注意事项：

1. 提前在宿主机节点验证这些路径是否存在（执行ls /usr/lib/nvidia、ls /dev/nvidia*）
2. 宿主机驱动版本必须兼容CUDA 12.0（最低要求450.80.02，用nvidia-smi查看宿主机驱动版本）
3. 多GPU节点需要在设备插件逻辑中动态生成对应/dev/nvidiaX的挂载项，而非固定写nvidia0

容器内验证步骤 #

容器启动后，执行以下命令确认驱动可用：

1. 检查驱动库：ls /usr/lib/nvidia/libcuda.so*，应能看到对应版本的库文件
2. 验证CUDA兼容性：nvcc --version，确认版本与镜像一致
3. 查看GPU状态：nvidia-smi，若挂载成功会显示GPU信息
4. 运行CUDA测试：执行cuda-samples/bin/x86_64/linux/release/deviceQuery（镜像预装了cuda-samples，若没有可自行编译简单测试程序）

常见排查点 #

• 权限问题：临时添加privileged: true到Pod容器配置，排除权限不足导致的挂载失败，后续再调整为最小权限
• 宿主机驱动完整性：确保宿主机nvidia-smi能正常运行，驱动文件未缺失
• 安全模块限制：若节点启用SELinux/AppArmor，需添加规则允许容器访问驱动目录和设备节点
• 资源请求配置：Pod必须在resources.requests中指定nvidia.com/gpu: 1（或对应数量），否则设备插件不会分配GPU和挂载相关目录

内容的提问来源于stack exchange，提问作者Anshul Sanghi