不同模型PEFT/LoRA适配：如何确定target_modules参数？

不同模型的LoraConfig中target_modules取值不同，本质是因为不同Transformer模型的架构实现逻辑和模块命名规则不一样。比如你提到的三个模型：

• Falcon 7B将注意力的Q/K/V投影打包成了一个名为query_key_value的模块，同时还把前馈网络的dense、dense_h_to_4h、dense_4h_to_h也纳入LoRA适配范围；
• Opt-6.7B则把Q、V的投影拆分为独立的q_proj、v_proj模块；
• Flan-T5-xxl采用更简洁的命名，直接用q、v指代注意力的Q、V投影模块。

要找到模型可适配LoRA的模块，可以通过以下几种方式查询：

1. 查看模型的Hub卡片（Hugging Face） #

在模型的官方Hub页面中，很多模型会在Training或PEFT推荐板块明确给出LoRA适配的目标模块列表。比如大厂发布的模型（如Falcon、OPT）会直接标注推荐的target_modules取值，省去自行查找的麻烦。

2. 查看模型的代码实现 #

进入模型对应的modeling_xxx.py文件（比如transformers库中的modeling_falcon.py、modeling_opt.py），找到注意力层和前馈网络的定义：

• 注意力层里的线性投影模块名称，就是适合LoRA的目标模块；
• 前馈网络的线性层（如Falcon的dense_h_to_4h）也可作为LoRA的适配对象，能提升微调效果。

3. 加载模型后直接查看模块结构 #

可以通过简单代码打印模型的所有模块名称，筛选出线性层类的模块：

from transformers import AutoModel

model = AutoModel.from_pretrained("模型名称")
for name, module in model.named_modules():
    # 筛选出线性层（LoRA通常适配线性层）
    if "Linear" in str(type(module)):
        print(name)

输出的名称里，注意力相关的Q/K/V投影、前馈线性层就是可以填入target_modules的取值。

内容的提问来源于stack exchange，提问作者ahron