Google Colab中CUDA未在LD_LIBRARY_PATH的原因及环境变量问题
问题解答
1. bitsandbytes 找不到CUDA库的原因
- Colab默认安装的CUDA库路径未被
LD_LIBRARY_PATH环境变量包含,bitsandbytes加载CUDA依赖时会读取这个变量查找库文件,路径缺失就会导致识别失败。 - 部分版本的bitsandbytes对CUDA版本有严格匹配要求,如果Colab自带的CUDA版本和bitsandbytes编译时依赖的版本不兼容,也会出现无法识别的情况。
2. Jupyter Notebook中设置系统变量无效的原因
Jupyter中用!执行shell命令时,每条命令都会在独立的临时子shell中运行。子shell的环境变量只在当前命令生命周期内有效,执行完毕后子shell就会销毁,变量不会传递到Notebook的主进程,也无法被后续的代码或!命令读取到。所以你执行!export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64后,这个变量只在那一个子shell里存在,之后运行bitsandbytes的进程根本看不到这个设置。
3. 是否为隔离问题?
是的,本质就是Jupyter的子进程隔离机制导致的。Notebook的主进程和每个!命令启动的子shell是相互隔离的,环境变量、进程空间都不共享,所以在子shell中设置的环境变量无法作用到主进程或其他子进程。
可行解决办法
- 通过Python代码直接设置环境变量,作用于当前Notebook进程:
设置完成后重启Python内核,再重新导入bitsandbytes即可生效。import os os.environ['LD_LIBRARY_PATH'] = f"{os.environ.get('LD_LIBRARY_PATH', '')}:/usr/local/cuda/lib64" - 安装适配Colab当前CUDA版本的bitsandbytes,比如根据实际版本指定安装命令:
pip install bitsandbytes==0.39.0(版本号需匹配CUDA版本)。
内容的提问来源于stack exchange,提问作者Joel Leigh
相关产品推荐
相关产品推荐

