NVIDIA集群CUDA版本不匹配时如何修复TensorFlow依赖问题

问题根因 #

你观察到的LD_LIBRARY_PATH指向CUDA11路径确实是依赖冲突的核心原因：

• 通过conda安装的用户态cudatoolkit==10.0不会自动修改系统环境变量优先级，当前动态库加载顺序会优先读取/usr/local/cuda-11.2/lib64下的文件，和tensorflow-gpu2.0.0要求的CUDA=10.0.0、cuDNN7.6.0版本完全不匹配。
• 日志中提示缺失的libnvinfer.so.6、libnvinfer_plugin.so.6是适配CUDA10.0的TensorRT 6版本组件，系统CUDA11配套的是高版本TensorRT库，无法被TF2.0识别加载。
• 注意：上述TensorRT相关日志为警告级别，TensorRT是推理加速可选组件，不影响模型基础训练流程。如果后续没有抛出cuDNN版本不匹配、CUDA核启动失败的致命错误，哪怕存在该告警，LSTM模型也可正常在GPU上运行。

附nvidia-smi返回的系统CUDA版本参考截图：

解决步骤 #

根据实际需求二选一即可，所有操作均在个人conda虚拟环境内完成，不需要root权限，也不会影响集群其他用户：

方案1：仅需保证GPU训练正常运行（可忽略TensorRT告警） #

1. 将当前conda虚拟环境的lib路径添加到LD_LIBRARY_PATH最前端，确保用户态CUDA10.0库优先级高于系统CUDA11库，执行命令时将路径替换为你自己的conda环境实际路径：

   export LD_LIBRARY_PATH=/your/path/to/conda/envs/your_env_name/lib:$LD_LIBRARY_PATH
   

2. 验证配置：执行echo $LD_LIBRARY_PATH确认conda环境lib路径在最前列，进入Python环境执行以下代码验证GPU可用性：

   import tensorflow as tf
   print(tf.test.is_gpu_available())
   

   命令返回True即说明GPU可正常调用，直接运行模型即可，TensorRT相关告警无需处理。

方案2：需要消除所有依赖告警，配齐完整运行环境 #

1. 先按照方案1的步骤调整LD_LIBRARY_PATH优先级，确保CUDA10.0库优先加载
2. 在当前conda环境中安装适配CUDA10.0的TensorRT 6版本：

   conda install -c conda-forge tensorrt=6.0.1.5
   

3. 检查cuDNN版本，若不是7.6.x版本执行以下命令重装匹配版本：

   conda install cudnn=7.6.0
   

4. 重新运行代码即可消除所有相关告警。

注意事项 #

• 不要修改集群系统级/usr/local/cuda软链接指向，会影响其他用户正常使用
• 上述export命令仅对当前shell会话生效，如果需要永久生效，可将对应export语句添加到个人用户目录下的.bashrc文件末尾，执行source ~/.bashrc即可
• 如果调整路径后仍报libcudart相关错误，可重新在conda环境内执行conda install cudatoolkit=10.0修复损坏的用户态CUDA文件

内容的提问来源于stack exchange，提问作者EBDIJK