使用Jupyter DockerSpawner GPU时NVML初始化未知错误问题

针对你遇到的Jupyter DockerSpawner下nvidia-smi部分用户报错、后续全部用户报错的问题，结合你的配置给出以下排查和修复步骤：

1. 修复环境变量覆盖问题 #

你的pre_spawn_hook中直接赋值spawner.environment，覆盖了之前配置的GRANT_SUDO环境变量，导致容器内用户权限不足，无法正常访问GPU资源。修改hook代码为更新而非替换环境变量：

def create_dir_hook(spawner):
    username = spawner.user.name  # 获取用户名
    volume_path = os.path.join('/home/', username)
    if not os.path.exists(volume_path):
        os.mkdir(volume_path, 0o755)
    # 更新原有环境变量，而非直接赋值覆盖
    spawner.environment.update({
        "NB_USER": username,
        "CHOWN_HOME": "yes",
        "CHOWN_HOME_OPTS": "-R"
    })
c.Spawner.pre_spawn_hook = create_dir_hook

2. 确保容器用户拥有GPU设备访问权限 #

GPU设备文件（/dev/nvidia*）通常属于video用户组，容器内切换到普通用户后可能缺少该组权限。在配置中添加组映射：

c.DockerSpawner.extra_create_kwargs = {'user': 'root', 'group_add': ['video']}

同时显式声明容器可见GPU设备，避免自动识别异常：

c.Spawner.environment.update({"NVIDIA_VISIBLE_DEVICES": "all"})

3. 检查宿主机NVML服务状态 #

nvidia-persistenced服务负责维持GPU持久化状态，该服务异常会导致所有容器无法初始化NVML。在宿主机执行：

• 查看服务状态：systemctl status nvidia-persistenced
• 若未运行，启动服务：systemctl start nvidia-persistenced
• 设置开机自启：systemctl enable nvidia-persistenced

4. 排查宿主机GPU资源泄漏 #

若数小时后全部用户报错，可能是宿主机存在GPU进程泄漏，占用资源导致无法新分配。在宿主机执行：

nvidia-smi --query-compute-apps=pid,process_name --format=csv

找到异常占用GPU的进程，执行kill -9 <PID>强制终止。

5. 验证nvidia-docker兼容性 #

确保宿主机nvidia-docker版本与GPU驱动版本匹配，过时版本可能引发权限或初始化问题。更新到最新稳定版后重启Docker服务：

systemctl restart docker

测试步骤 #

1. 修改配置后重启JupyterHub服务
2. 创建新用户并登录，执行nvidia-smi验证输出
3. 持续观察数小时，确认是否再出现全局报错情况

内容的提问来源于stack exchange，提问作者eemamedo