Docker中TensorFlow GPU无法运行的问题排查与解决请求

问题原因 #

你遇到的CUDA_ERROR_COMPAT_NOT_SUPPORTED_ON_DEVICE错误，本质是容器内的CUDA版本与主机NVIDIA驱动版本不兼容：主机驱动515.65.01最高支持CUDA 11.7，但你使用的tensorflow/tensorflow:latest-gpu镜像自带的CUDA版本可能高于11.7，触发了向前兼容失败；同时容器内找不到libcuda.so，也说明GPU设备的映射存在问题。

解决步骤 #

1. 验证nvidia-docker运行时是否正常 #

在主机终端执行以下命令，检查Docker能否正确调用GPU：

docker run --rm --gpus all nvidia/cuda:11.7.0-base-ubuntu20.04 nvidia-smi

如果能正常显示和主机一致的GPU信息，说明nvidia-docker配置没问题；如果报错，需要重新安装nvidia-docker2组件，确保Docker与NVIDIA驱动的联动正常。

2. 选择与主机驱动兼容的TensorFlow镜像 #

主机驱动515.65.01支持CUDA 11.7及以下版本，因此要选用对应CUDA版本≤11.7的TensorFlow官方镜像，比如：

• tensorflow/tensorflow:2.11.0-gpu（对应CUDA 11.2，完全兼容驱动515）
• tensorflow/tensorflow:2.12.0-gpu（对应CUDA 11.8，部分驱动版本兼容，若仍报错可换更低版本）

3. 修改容器启动命令 #

用兼容的镜像替换原命令，比如使用2.11.0-gpu版本：

docker run -it --rm \
--ipc=host \
--gpus all \
--volume="/tmp/.X11-unix:/tmp/.X11-unix:rw" \
--volume="$(pwd)/://mydir:rw" \
--workdir="/mydir/" \
tensorflow/tensorflow:2.11.0-gpu bash

4. 验证GPU可用性 #

进入容器后，执行Python代码检查：

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))

若输出GPU数量大于0，说明配置成功。

备选方案：基于CUDA 11.7基础镜像手动安装TensorFlow #

如果官方TensorFlow镜像仍有兼容性问题，可以直接用NVIDIA官方的CUDA 11.7 runtime镜像，再手动安装适配的TensorFlow版本：

docker run -it --rm \
--ipc=host \
--gpus all \
--volume="/tmp/.X11-unix:/tmp/.X11-unix:rw" \
--volume="$(pwd)/://mydir:rw" \
--workdir="/mydir/" \
nvidia/cuda:11.7.0-cudnn8-runtime-ubuntu20.04 bash

进入容器后执行：

apt update && apt install -y python3-pip
pip3 install tensorflow==2.11.0

再执行验证代码即可。

内容的提问来源于stack exchange，提问作者mad