如何加载LoRA微调后的Qwen-VL权重进行推理评估？

核心适配设置与权重更新逻辑 #

• 加载基础Qwen-VL模型时，需确保模型版本与微调时完全一致（如Qwen-VL-7B/14B），避免权重结构不兼容
• 依赖peft库加载LoRA权重，需指定本地权重路径，同时设置device_map='auto'自动分配GPU/CPU资源
• 加载后可选择两种推理方式：直接用PeftModel推理，或调用merge_and_unload()合并LoRA与基础模型（合并后推理速度更快）

标准加载代码示例 #

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 加载基础模型与tokenizer
base_model_path = "Qwen/Qwen-VL-Chat"  # 替换为你的基础模型本地路径或HF模型名
tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    base_model_path,
    trust_remote_code=True,
    device_map='auto',
    torch_dtype='auto'
)

# 加载本地LoRA权重
lora_path = "./your_lora_checkpoint_dir"  # 替换为你的LoRA权重本地目录（需包含adapter_config.json和adapter_model.bin）
model = PeftModel.from_pretrained(model, lora_path)

# 可选：合并LoRA与基础模型，保存后可直接加载使用
# model = model.merge_and_unload()
# model.save_pretrained("./merged_qwen_vl_model")

# 多模态推理示例
query = "描述这张图片的内容"
image_path = "./test_img.jpg"
inputs = tokenizer.from_list_format([
    {"image": image_path},
    {"text": query}
])
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

代码验证要点 #

• 检查lora_path是否指向正确的LoRA checkpoint目录，必须包含adapter_config.json和adapter_model.bin两个核心文件
• 确认微调时使用的peft版本与当前环境一致，版本差异可能导致权重加载失败
• 若出现"key mismatch"报错，说明基础模型与LoRA权重的层名不匹配，需核对微调时的模型配置和当前加载的基础模型是否一致
• 合并权重后，可通过直接加载合并后的模型验证是否生效：model = AutoModelForCausalLM.from_pretrained("./merged_qwen_vl_model", trust_remote_code=True, device_map='auto')

内容的提问来源于stack exchange，提问作者S.EB