RedHat 9.1下Podman GPU访问报错：Failed to initialize NVML: GPU被系统拦截

问题背景 #

• 环境：RedHat 9.1系统，使用Podman（RHEL 9.1暂不支持Docker GPU访问）
• 故障流程：按GPU配置指南操作后，运行带nvidia-smi的示例容器先触发「权限不足」错误；修改/etc/nvidia-container-runtime/config.toml中no-cgroups = true解决权限问题后，又出现「Failed to initialize NVML: GPU access blocked by the operating system」错误
• 已知条件：宿主机nvidia-smi输出正常，驱动与库无问题；尝试取消注释config.toml中user = "root:root"（匹配/dev/nvidia*权限）无效；每次修改后均重启Podman服务，问题仍存在

针对性解决方案 #

1. 修复SELinux上下文拦截

RHEL默认开启SELinux，大概率是它阻止了容器访问GPU设备。执行以下命令：

semanage fcontext -a -t container_file_t /dev/nvidia*
restorecon -v /dev/nvidia*

这会把GPU设备文件的SELinux上下文设置为容器可访问的类型。

2. 调整Podman的cgroup配置

虽然设置了no-cgroups = true，但Podman自身的cgroup模式可能和nvidia runtime冲突。先检查当前cgroup版本：

podman info | grep cgroupVersion

如果是cgroupv2，运行容器时显式指定cgroup管理器：

podman run --rm --cgroup-manager=cgroupfs --gpus all nvidia/cuda:11.8.0-base-ubi9 nvidia-smi

3. 安装适配RHEL 9的nvidia-container-toolkit

如果之前装的是RHEL8版本的工具包，会出现兼容性问题。重新安装适配版本：

dnf remove nvidia-container-toolkit
dnf install nvidia-container-toolkit-stream9

安装完成后重启相关服务：

systemctl restart nvidia-container-runtime-hook

4. 配置GPU设备的组权限

容器内可能需要对应组权限才能访问GPU，宿主机先创建匹配的nvidia组：

groupadd -g $(stat -c "%g" /dev/nvidia0) nvidia

运行容器时加入该组：

podman run --rm --gpus all --group-add nvidia nvidia/cuda:11.8.0-base-ubi9 nvidia-smi

验证 #

完成以上操作后，重新运行测试容器，若能正常输出GPU信息，说明问题解决。

内容的提问来源于stack exchange，提问作者KirkD-CO