Llama-2-7b-hf加载QLora时目标模块未找到错误的解决方法

问题原因 #

你指定的target_modules是针对其他模型架构（如BLOOM、GPT-J）的命名，而Llama-2系列模型的模块命名规则不同，导致PEFT无法找到对应模块。

Llama-2的Decoder层中：

• 注意力模块的投影层分为q_proj、k_proj、v_proj（查询/键/值投影）和o_proj（输出投影），而非合并的query_key_value
• MLP模块的三层分别是gate_proj、up_proj、down_proj，而非dense_h_to_4h、dense_4h_to_h

解决方案 #

修改LoraConfig中的target_modules为Llama-2实际存在的模块名即可：

config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=[
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj",
    ],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

如果你不确定模块名，可以运行以下代码打印模型所有可训练模块的名称，自行核对：

for name, module in model.named_modules():
    if hasattr(module, 'weight'):
        print(name)

验证修改 #

替换配置后重新执行get_peft_model(model, config)，即可正常加载模型进行QLoRA训练。

内容的提问来源于stack exchange，提问作者Ofir