加载4-bit精度LLM模型遇RuntimeError：无法导入bitsandbytes模块

错误原因 #

你遇到的[WinError 193] %1 不是有效的Win32应用程序本质是官方原版bitsandbytes不支持Windows系统，你安装的是Linux平台适配版本，导致在Windows环境下无法正常加载。

解决步骤 #

• 卸载现有不兼容的bitsandbytes版本：

  pip uninstall -y bitsandbytes
  

• 安装Windows适配的bitsandbytes版本：
  直接安装第三方编译的Windows专用包：

  pip install bitsandbytes-windows
  

  如果你使用conda环境，也可以尝试conda-forge的适配版本：

  conda install -c conda-forge bitsandbytes
  

• 验证安装有效性：
  打开Python终端执行以下代码，无报错则说明安装成功：

  import bitsandbytes
  

• 重新运行你加载LLM的代码，此时应该能正常导入transformers.integrations.bitsandbytes并完成4比特量化加载。

额外注意事项 #

• 确保你的Python是64位版本（32位Python无法运行64位的bitsandbytes库）
• 确认CUDA版本在11.x及以上，bitsandbytes对低版本CUDA兼容性较差
• 若仍有问题，可尝试更新transformers和accelerate到最新版本：

  pip install --upgrade transformers accelerate
  

内容的提问来源于stack exchange，提问作者Mayor