Ubuntu 22.04下Docker部署TensorFlow GPU版故障排查求助

1. 驱动与容器内CUDA组件版本不匹配 #

首次部署时，主机安装的nvidia-driver-535与tensorflow/tensorflow:latest-gpu镜像内置的CUDA动态共享对象（DSO）版本545.23.6不兼容。NVIDIA要求主机内核驱动版本必须与容器内用户态CUDA组件版本完全匹配或满足严格的向下兼容要求，版本不匹配会直接导致GPU无法被容器识别。

2. TensorFlow预构建镜像的版本适配问题 #

升级驱动到nvidia-driver-545后，tensorflow/tensorflow:2.15.0rc1-gpu镜像存在适配bug：其内置的CUDA/CuDNN版本与545驱动的兼容性未经过充分验证，而2.14.0-gpu镜像的内置环境刚好与545驱动匹配，因此能正常识别GPU。

3. 主机手动安装CUDA Toolkit的冗余干扰 #

Docker版TensorFlow GPU镜像已完整封装了运行所需的CUDA、CuDNN等依赖，主机手动安装CUDA Toolkit属于冗余操作，反而可能引入版本冲突，干扰容器对GPU设备的检测逻辑。

步骤1：彻底清理现有NVIDIA/CUDA组件 #

# 卸载所有NVIDIA驱动、CUDA相关包
sudo apt-get purge -y nvidia* cuda*
sudo apt-get autoremove -y
sudo apt-get autoclean
# 移除CUDA相关环境变量配置
sudo rm -rf /usr/local/cuda*

步骤2：安装兼容的NVIDIA驱动 #

GTX 1070属于Pascal架构，推荐安装nvidia-driver-535或545（均为官方支持的稳定版本）：

# 添加NVIDIA官方源
sudo apt-get update
sudo apt-get install -y ubuntu-drivers-common
# 自动安装推荐驱动（或手动指定版本）
sudo ubuntu-drivers autoinstall
# 或手动安装545版本
# sudo apt-get install -y nvidia-driver-545
# 重启系统生效
sudo reboot

验证驱动安装：

nvidia-smi

需输出GPU信息，确认驱动版本正常。

步骤3：安装NVIDIA Container Toolkit #

# 设置源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 更新并安装
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
# 配置Docker并重启服务
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

验证Toolkit：

docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

需正常显示GPU信息，说明容器能识别GPU。

步骤4：选择兼容的TensorFlow GPU镜像 #

根据驱动版本选择对应镜像：

• 若安装nvidia-driver-535：推荐使用tensorflow/tensorflow:2.14.0-gpu（内置CUDA 11.8，与535驱动兼容）
• 若安装nvidia-driver-545：推荐使用tensorflow/tensorflow:2.14.0-gpu或tensorflow/tensorflow:2.15.0-gpu（正式版，非RC版）

启动容器：

docker run -it --rm --gpus all tensorflow/tensorflow:2.14.0-gpu bash

验证GPU识别：

python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

输出应包含GPU设备信息，说明部署成功。

关键注意事项 #

• 无需在主机安装CUDA Toolkit：TensorFlow GPU镜像已内置完整环境，主机安装会引发版本冲突。
• 优先选择TensorFlow正式版镜像：RC（候选发布）版可能存在兼容性bug，避免用于生产环境。
• 确认Secure Boot已关闭：该选项会阻止NVIDIA驱动正常加载，需在BIOS中关闭。

内容的提问来源于stack exchange，提问作者hopstepforward