服务器重启后A100 GPU出现CUDA_ERROR_NOT_INITIALIZED错误，TensorFlow无法识别GPU的问题咨询

这种情况我之前在A100 GPU服务器上碰过好几次，结合你的报错日志和nvidia-smi输出来看，核心问题大概率出在MIG模式配置异常或者CUDA上下文初始化的权限/残留进程上，咱们一步步来排查解决：

1. 优先排查MIG模式配置（最可能的原因） #

从你的nvidia-smi结果能看到，GPU的MIG模式是Enabled，但却显示“No MIG devices found”——重启后MIG配置经常会出现这种“启用但未创建实例”的情况，导致TensorFlow无法识别到可用的GPU设备。

解决步骤： #

• 先确认当前MIG模式状态：

  nvidia-smi -i 0 --query-gpu=mig.mode.current --format=csv
  

• 如果输出是Enabled但无MIG设备，先禁用再重新启用MIG：

  sudo nvidia-smi -i 0 -mig 0
  sudo nvidia-smi -i 0 -mig 1
  

• 然后创建适配的MIG实例（比如要使用完整的40GB A100，可创建全GPU实例）：

  # 先查看可用的MIG实例配置
  nvidia-smi mig -lgip
  # 创建全GPU实例（A100 40GB对应的配置ID是9,0）
  sudo nvidia-smi mig -i 0 -cgi 9,0 -C
  

• 再次运行nvidia-smi，应该能看到MIG设备列表，之后再测试TensorFlow的GPU识别。

2. 清理残留进程与修复设备权限 #

有时候服务器重启后，会有残留的GPU进程占用资源，或者当前用户对GPU设备的权限不足，导致TensorFlow无法初始化CUDA上下文。

解决步骤： #

• 查找并杀掉所有占用GPU的进程：

  sudo fuser -v /dev/nvidia*
  # 根据输出的PID杀掉进程，比如：sudo kill -9 <PID>
  

• 检查当前用户对GPU设备的权限：

  ls -l /dev/nvidia*
  

• 如果当前用户没有读写权限，临时修复权限：

  sudo chmod 666 /dev/nvidia*
  

• 或者永久添加权限（将用户加入video组）：

  sudo usermod -aG video $USER
  # 重新登录后生效
  

3. 验证CUDA环境变量与版本兼容性 #

虽然重启前正常，但有时候系统重启会重置环境变量，导致TensorFlow无法找到正确的CUDA库。

解决步骤： #

• 检查CUDA相关环境变量：

  echo $CUDA_HOME
  echo $LD_LIBRARY_PATH
  

• 如果变量为空或路径错误，手动配置（对应你的CUDA 11.2版本）：

  export CUDA_HOME=/usr/local/cuda-11.2
  export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
  

• 确认TensorFlow版本与CUDA 11.2兼容：比如TensorFlow 2.5及以上版本支持CUDA 11.2，若版本不匹配建议升级或降级TensorFlow。

4. 清除TensorFlow缓存 #

TensorFlow会缓存GPU配置信息，重启后缓存可能失效，导致初始化失败。

解决步骤： #

• 删除TensorFlow的本地缓存：

  rm -rf ~/.tensorflow/
  

• 重新运行你的TensorFlow代码，测试GPU识别。

内容的提问来源于stack exchange，提问作者Dean Mark