LoRA微调报错：CPU及V100 GPU使用load_in_8bit=True需Accelerate的解决求助

问题背景 #

按照《使用LoRA和Hugging Face高效训练大语言模型》教程进行LoRA小型模型微调，先在本地CPU环境测试，执行AutoModelForSeq2SeqLM.from_pretrained时触发报错：

ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes `pip install -i https://test.pypi.org/simple/ bitsandbytes` or pip install bitsandbytes

尝试多种依赖安装方式（包括指定版本、从源码拉取最新版）均未解决，但对应《为对话总结微调FLAN-T5》教程的无LoRA微调代码可正常运行，且该代码无需accelerate。后续在V100 GPU环境运行时仍出现相同报错。试过的安装命令如下：

!pip install "peft"
!pip install "transformers" "datasets" "accelerate" "evaluate" "bitsandbytes" loralib --upgrade --quiet
# 或指定固定版本
!pip install "peft==0.2.0"
!pip install "transformers==4.27.2" "datasets==2.9.0" "accelerate==0.17.1" "evaluate==0.4.0" "bitsandbytes==0.37.1" loralib --upgrade --quiet
# 或从GitHub源码安装最新版
!pip install -q -U bitsandbytes
!pip install -q -U git+https://github.com/huggingface/transformers.git 
!pip install -q -U git+https://github.com/huggingface/peft.git
!pip install -q -U git+https://github.com/huggingface/accelerate.git

解决步骤 #

1. 移除不必要的load_in_8bit参数 #

• CPU环境完全不支持bitsandbytes的8bit量化，直接删除from_pretrained方法中的load_in_8bit=True参数即可正常运行。
• 小型模型在V100 GPU上也无需8bit加载，全精度加载完全可行，移除该参数可跳过依赖问题。

2. 验证依赖是否在当前环境生效 #

• 执行以下命令检查当前Python环境的依赖版本，确认安装的包是否被代码调用：

  pip list | grep -E "accelerate|bitsandbytes|peft|transformers"
  

• 若使用虚拟环境，务必先激活目标环境再执行安装命令，避免依赖安装到全局环境导致代码无法读取。

3. GPU环境适配bitsandbytes版本 #

• V100属于旧架构GPU，高版本bitsandbytes可能存在兼容性问题，尝试安装兼容旧GPU的版本：

  pip install bitsandbytes==0.35.4
  

• 安装完成后运行accelerate config，按提示选择GPU相关配置选项，生成环境配置文件后再启动代码。

4. 核对代码参数差异 #

• 对比无LoRA的正常代码，检查LoRA代码中是否额外添加了device_map='auto'、load_in_8bit=True这类需要accelerate和bitsandbytes的参数，按需调整或移除。

内容的提问来源于stack exchange，提问作者Niklas Heidloff