Tensorflow触发cuInit报错无法检测CUDA设备，配置RTX3080Ti求助

问题排查&解决思路 #

1. 检查CUDA_VISIBLE_DEVICES环境变量配置 #

• 先在终端运行echo $CUDA_VISIBLE_DEVICES查看输出，如果输出为空或者是无效的设备ID（比如仅有1张卡却设置了1、2这类超出范围的值），直接在运行Python代码前执行export CUDA_VISIBLE_DEVICES=0即可临时生效，要永久生效可以把这句话加到_{/.bashrc或者}/.zshrc配置文件中。
• 如果是在虚拟环境/conda环境下运行，确认环境内没有被覆写该环境变量，可以在Python代码开头加两行代码验证：

import os
print(os.environ.get("CUDA_VISIBLE_DEVICES"))

• 同时检查代码中是否手动指定了不存在的GPU设备ID，比如仅1张卡的情况下写了tf.device('/gpu:1')这类错误配置。

2. 验证TensorFlow与CUDA、cuDNN的版本匹配 #

• TensorFlow 2.5官方适配的CUDA版本为11.2，配套cuDNN版本为8.1，你当前使用的CUDA 11.4属于跨小版本，存在兼容性隐患，之前降级如果没有同步匹配cuDNN版本也会导致报错。
• 推荐优先用conda安装tensorflow-gpu包，conda会自动匹配对应版本的CUDA、cuDNN依赖，避免手动安装的版本适配问题。

3. 检查运行用户的GPU权限 #

• 如果用root账号运行nvidia-smi正常，但普通用户运行代码报错，大概率是权限问题，执行sudo chmod a+w /dev/nvidia*临时开放权限，永久生效可以修改udev规则。
• 如果你是在Docker容器内运行代码，需要确认启动容器时添加了--gpus all参数，未添加的情况下容器内默认无法识别GPU设备。

4. 排查残留进程占用GPU的异常情况 #

• 运行nvidia-smi查看是否有僵尸进程占用GPU，用kill -9 <进程ID>杀掉残留进程后再重新运行代码测试。
• 部分场景下显卡驱动存在异常挂载问题，重启机器后再测试可以排除这类偶发故障。

内容的提问来源于stack exchange，提问作者j-ax