加载4-bit量化Mistral模型时quantization_config与load_in_4bit参数冲突报错求助

嗨，我来帮你搞定这个问题！你遇到的错误提示其实已经把问题说得明明白白啦——不能同时在AutoModelForCausalLM.from_pretrained()里传入load_in_4bit（或load_in_8bit）参数和quantization_config参数，这俩是互斥的。

你看，你已经在bnb_config这个BitsAndBytesConfig对象里设置了load_in_4bit=True，这个配置已经包含了所有量化相关的规则，所以没必要再在from_pretrained的参数里重复写load_in_4bit=True了，这就导致了参数冲突。

只需要修改你的load_quantized_model函数，把from_pretrained里的load_in_4bit=True删掉就可以了，修改后的代码如下：

def load_quantized_model(model_name: str):
    """
    :param model_name: Name or path of the model to be loaded.
    :return: Loaded quantized model.
    """
    bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16
    )

    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        quantization_config=bnb_config
    )

    return model

这样修改后，模型就会按照你在bnb_config里定义的规则加载4-bit量化版本了，不会再出现参数冲突的错误。

另外补充个小知识点：如果你不想用quantization_config参数，也可以直接把BitsAndBytesConfig里的参数拆成关键字参数传给from_pretrained，比如：

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

不过用quantization_config的方式会更整洁，参数分组更清晰，推荐你用第一种修改方式哦~

备注：内容来源于stack exchange，提问作者Gabriele Castaldi