使用AutoAWQ量化LLM时遇libcudart.so.12缺失错误求助

问题根源 #

AutoAWQ预编译包默认依赖CUDA 12.x运行库，但你的环境使用CUDA 11.8，且驱动版本520.61.05不支持CUDA 12.x（CUDA 12.x最低要求驱动525.60.13），因此系统找不到对应共享库。另外nvcc版本（11.2）与CUDA runtime版本（11.8）不一致，也会加剧依赖冲突。

解决方案 #

方案1：安装适配CUDA 11.8的AutoAWQ预编译包

执行以下命令安装兼容CUDA 11.8的AutoAWQ版本：

pip install autoawq==0.2.5 --extra-index-url https://download.pytorch.org/whl/cu118

注：0.2.5版本经测试适配CUDA 11.8，若需更高版本，可查看AutoAWQ发布记录确认其他兼容CUDA 11.x的版本。

方案2：从源码编译AutoAWQ并指定CUDA 11.8

若找不到合适预编译包，手动源码编译适配当前环境：

1. 克隆仓库：

git clone https://github.com/casper-hansen/AutoAWQ.git
cd AutoAWQ

2. 设置CUDA环境变量：

export CUDA_HOME=/usr/local/cuda-11.8
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

3. 安装依赖并编译：

pip install -r requirements.txt
pip install .

方案3：统一nvcc与CUDA runtime版本

nvcc版本（11.2）低于CUDA runtime版本（11.8）可能引发隐性冲突，建议升级nvcc至11.8：

• 下载CUDA 11.8 toolkit安装包，安装时仅选择nvcc及编译相关组件，保留现有CUDA runtime。
• 更新环境变量指向新nvcc路径：

export PATH=/usr/local/cuda-11.8/bin:$PATH

验证 #

安装完成后，运行以下代码验证依赖是否正常：

from awq import AutoAWQForCausalLM

若未抛出ImportError，则问题解决。

内容的提问来源于stack exchange，提问作者user9890324