Windows环境下未用Bitsandbytes却加载Llama 2失败的问题求助

问题根源 #

你没主动使用bitsandbytes但触发错误，是因为accelerate库的utils.bnb模块会默认尝试导入bitsandbytes，而官方bitsandbytes不支持Windows系统，导致加载失败。transformers本身并不依赖bitsandbytes，它是用于模型量化的可选依赖。

解决方案 #

方案1：禁用accelerate对bitsandbytes的自动导入 #

通过环境变量让accelerate跳过bitsandbytes的导入，这是最简便的方法：

• 方法A：在运行脚本前设置环境变量（Windows CMD）

  set ACCELERATE_DISABLE_BNB=1
  python your_script.py
  

• 方法B：在Python代码开头添加环境变量设置

  import os
  os.environ['ACCELERATE_DISABLE_BNB'] = '1'
  
  # 你的原有代码
  import torch
  import transformers
  # ... 剩余代码 ...
  

方案2：安装Windows兼容的bitsandbytes分支 #

第三方提供了适配Windows的bitsandbytes版本，可以直接安装：

pip install bitsandbytes-windows

注意要确保你的CUDA版本和安装的bitsandbytes版本匹配（比如你的PyTorch用的是cu118，就选对应版本的包）。

方案3：调整模型加载逻辑，避开accelerate的自动导入 #

修改from_pretrained的参数，显式指定设备映射，减少accelerate的自动介入：

model = transformers.AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    config=model_config,
    use_auth_token=hf_auth,
    device_map='cuda' if torch.cuda.is_available() else 'cpu',
    low_cpu_mem_usage=True
)

运行Llama 2的其他替代方式 #

除了transformers，Windows下还有更简便的运行方式：

• llama.cpp：纯C++实现，支持多种量化格式，内存占用低，可通过命令行或Python绑定调用
• Ollama：一键部署工具，支持Llama 2等多种模型，安装后只需ollama run llama2即可启动交互
• LM Studio：桌面端工具，可视化管理模型，支持本地运行，无需手动写代码

内容的提问来源于stack exchange，提问作者Scaevola