使用HuggingFaceLLM加载Mistral-7B时遇量化相关报错求助

问题一：弃用提示的原因 #

transformers库的API规范更新，原先直接在model_kwargs中传入load_in_4bit/load_in_8bit这类量化参数的方式已被标记为弃用，官方要求统一使用BitsAndBytesConfig配置类封装量化参数，再通过quantization_config参数传入模型。旧参数会在后续版本彻底移除，因此当前运行时会弹出警告提示。

问题二：ImportError的原因 #

使用bitsandbytes实现4/8位量化必须依赖两个核心组件：

• accelerate库：负责模型的分布式加载、显存管理等底层操作
• 最新版本的bitsandbytes：提供量化所需的核心功能

你的运行环境要么未安装accelerate，要么bitsandbytes版本过低，导致代码无法找到量化功能依赖的模块，从而触发导入错误。

修复步骤 #

1. 安装/更新依赖库 #

执行以下命令补全依赖：

pip install accelerate
pip install --upgrade bitsandbytes

2. 修改代码适配新API #

将原有的量化参数改用BitsAndBytesConfig封装，替换旧的传参方式：

import torch
from transformers import BitsAndBytesConfig

# 封装4位量化配置
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.bfloat16
)

llm = HuggingFaceLLM(
    context_window=4096,
    max_new_tokens=256,
    generate_kwargs={"temperature": 0, "do_sample": False},
    system_prompt=system_prompt,
    query_wrapper_prompt=query_wrapper_prompt,
    tokenizer_name="mistralai/Mistral-7B-v0.1",
    model_name="mistralai/Mistral-7B-v0.1",
    device_map="auto",
    tokenizer_kwargs={"max_length": 4096},
    model_kwargs={
        "torch_dtype": torch.float16,
        "llm_int8_enable_fp32_cpu_offload": True,
        "quantization_config": bnb_config  # 传入新的量化配置对象
    }
)

内容的提问来源于stack exchange，提问作者Sanduni Devindya