GCP托管Notebook报undefined symbol: 'cublasLtGetStatusString'错误求解决

针对你遇到的OSError: /opt/conda/lib/python3.7/site-packages/torch/lib/../../nvidia/cublas/lib/libcublas.so.11: undefined symbol: cublasLtGetStatusString, version libcublasLt.so.11错误，可按以下步骤解决：

• 对齐CUDA与cuBLAS版本

  1. 查看当前环境CUDA版本：nvcc --version
  2. 查看cuBLAS库版本：ls -l /opt/conda/lib/python3.7/site-packages/nvidia/cublas/lib/
  3. 若版本不匹配，重新安装对应版本的cuBLAS：conda install -c nvidia cublas=11.x.x（将11.x.x替换为与CUDA匹配的具体版本号）

• 重新安装适配CUDA版本的PyTorch

  1. 卸载现有PyTorch：pip uninstall torch -y
  2. 根据CUDA版本安装对应PyTorch（以CUDA 11.8为例，适配Python3.7）：pip install torch==2.0.1+cu118 --index-url https://download.pytorch.org/whl/cu118

• 调整环境变量优先级

  1. 临时生效：执行export LD_LIBRARY_PATH=/opt/conda/lib/python3.7/site-packages/nvidia/cublas/lib:$LD_LIBRARY_PATH
  2. 永久生效：编辑~/.bashrc或~/.profile文件，添加上述环境变量行，然后执行source ~/.bashrc

• 使用官方深度学习镜像重建Notebook
  新建Notebook实例时，选择GCP官方提供的PyTorch+CUDA预装镜像，避免自定义环境导致的依赖冲突，镜像自带的依赖已做版本适配，无需手动调整系统级CUDA库。

内容的提问来源于stack exchange，提问作者Alan Karanja