如何在Docker容器内查看及监控宿主机GPU资源？

问题1：如何在Docker容器内查看服务器的GPU显卡信息及使用情况？ #

要在容器内查看GPU信息，核心是让容器具备GPU访问权限并拥有对应工具：

• 宿主机先安装nvidia-docker2（替代原生Docker，支持GPU设备挂载）
• 使用带CUDA runtime的官方镜像启动容器，比如nvidia/cuda:11.8.0-runtime-ubuntu22.04，这类镜像预装了nvidia-smi工具
• 启动容器时添加GPU访问参数：

  docker run --gpus all -it nvidia/cuda:11.8.0-runtime-ubuntu22.04 bash
  

• 进入容器后执行以下命令查看GPU信息：
  • 一次性查看：nvidia-smi（显示显卡型号、显存占用、进程列表等）
  • 实时监控：watch -n 1 nvidia-smi（每秒刷新一次GPU状态）

问题2：Ubuntu容器中运行着应用，需在容器内监控外部宿主机的GPU资源，该如何实现？ #

通过调整镜像和启动参数，让容器共享宿主机GPU设备即可实现：

1. 替换基础镜像：将原有Ubuntu容器的基础镜像（如ubuntu:22.04）替换为对应Ubuntu版本的nvidia/cuda runtime镜像，比如nvidia/cuda:11.8.0-runtime-ubuntu22.04，确保容器内有nvidia-smi等GPU工具。
2. 调整容器启动命令：启动容器时必须添加--gpus参数，让容器挂载宿主机的GPU驱动和设备：

   # 允许容器访问所有GPU
   docker run --gpus all -it [你的应用镜像名] bash
   # 或者指定特定显卡，比如第0、1号显卡
   docker run --gpus '"device=0,1"' -it [你的应用镜像名] bash
   

3. 验证与监控：
   • 进入容器后执行nvidia-smi，即可查看宿主机的GPU实时状态
   • 若需通过代码监控，可安装pynvml库（pip install pynvml），通过API获取GPU使用率、显存占用等数据

内容的提问来源于stack exchange，提问作者Mr. Yao