使用bitsandbytes量化Llama2-13B时遇ImportError求助

排查与修复步骤 #

• 检查Accelerate初始化配置
  即便安装了Accelerate，未完成环境配置也会触发该错误。执行以下命令生成适配本地环境的配置文件：

  accelerate config
  

  按实际硬件情况选择选项（如是否使用GPU、分布式设置等），完成后重启微调脚本。

• 验证CUDA环境变量配置
  bitsandbytes 0.42.0需匹配CUDA 11.8版本，确认系统CUDA环境变量正确：

  echo $CUDA_HOME
  

  若输出为空或路径错误，手动设置环境变量：

  export CUDA_HOME=/usr/local/cuda-11.8
  export PATH=$CUDA_HOME/bin:$PATH
  export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
  

• 调整关键依赖版本
  当前transformers 4.30.0与bitsandbytes 0.42.0存在兼容性冲突，尝试升级transformers并切换Accelerate到PyPI稳定版：

  pip install transformers==4.38.2
  pip install accelerate==0.27.2
  

• 确认虚拟环境隔离
  避免全局包干扰，检查当前虚拟环境的依赖版本：

  pip list | grep -E "accelerate|bitsandbytes|transformers"
  

  确保输出的版本与你安装的一致。

• 强制重装bitsandbytes
  卸载后重新安装适配CUDA 11.8的版本：

  pip uninstall -y bitsandbytes
  pip install bitsandbytes==0.42.0 --force-reinstall
  

内容的提问来源于stack exchange，提问作者xjabr