集群环境下TensorFlow无法检测GPU的问题求助

环境信息确认 #

• 系统：Ubuntu 18.04
• JupyterHub：预装，Python 3.7.5
• CUDA版本：11.2，驱动版本460.32.03
• TensorFlow版本：2.8.3（pip用户级安装）
• GPU：Quadro P4000

排查与解决步骤 #

1. 验证Jupyter内核与TensorFlow安装环境一致性 #

Jupyter可能使用了与你安装TensorFlow不同的Python环境，导致无法识别GPU支持：

• 在Jupyter Notebook中执行以下代码，查看当前环境的Python路径和TensorFlow版本：

  !which python
  !pip list | grep tensorflow
  

• 若你在终端使用的Python路径与上述输出不一致，需将安装TensorFlow的Python环境添加为Jupyter内核：

  # 安装ipykernel（若未安装）
  pip install ipykernel
  # 将当前环境注册为Jupyter内核，myenv可自定义名称
  python -m ipykernel install --user --name=myenv
  

• 重启Jupyter Notebook，选择刚创建的myenv内核重新运行代码。

2. 检查CUDA环境变量在Jupyter中是否生效 #

非管理员用户需确保CUDA相关环境变量被Jupyter进程加载：

• 在Jupyter中执行以下命令，查看环境变量：

  !echo $LD_LIBRARY_PATH
  !echo $CUDA_HOME
  

• 若输出未包含/usr/local/cuda-11.2和/usr/local/cuda-11.2/lib64，需修改个人配置文件：

  # 将环境变量写入~/.bashrc
  echo 'export CUDA_HOME=/usr/local/cuda-11.2' >> ~/.bashrc
  echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
  # 使配置生效
  source ~/.bashrc
  

• 重启JupyterHub会话，重新检测GPU。

3. 验证CUDA基础功能是否正常 #

确认系统层面CUDA可用，排除硬件/权限问题：

• 在Jupyter中执行以下命令，查看nvcc版本：

  !nvcc --version
  

• 若提示命令不存在，回到步骤2检查环境变量配置；若版本匹配11.2，可使用numba测试GPU可用性：

  from numba import cuda
  print(cuda.is_available())
  print(cuda.gpus)
  

• 若numba也无法检测到GPU，需联系集群管理员确认你是否拥有GPU访问权限。

4. 确认TensorFlow的GPU编译状态 #

确保安装的TensorFlow版本包含GPU支持：

• 在Jupyter中执行：

  import tensorflow as tf
  print(tf.test.is_built_with_cuda())
  print(tf.test.is_gpu_available())
  

• 若is_built_with_cuda()返回False，说明安装的是CPU版本，重新安装：

  pip uninstall tensorflow tensorflow-gpu -y
  pip install tensorflow==2.8.3
  

5. 检查GPU资源占用情况 #

GPU被其他进程占用也会导致TensorFlow无法识别：

• 在Jupyter中执行：

  !nvidia-smi
  

• 若GPU使用率接近100%，需等待占用进程结束，或联系管理员调整资源分配。

内容的提问来源于stack exchange，提问作者John