LLaMA-2-7B微调后即时推理与加载LoRA模型输出不一致问题

• LoRA权重合并精度问题
  QLoRA训练用的是4/8位量化，合并时若未匹配训练时的数据类型，会导致权重计算错误。检查合并代码是否显式指定了与训练一致的torch_dtype（如torch.bfloat16或torch.float16），避免用默认的float32引发缩放异常。示例合并代码：

  from peft import PeftModel
  from transformers import AutoModelForCausalLM
  
  base_model = AutoModelForCausalLM.from_pretrained(
      "meta-llama/Llama-2-7b-hf",
      torch_dtype=torch.bfloat16,
      device_map="auto"
  )
  merged_model = PeftModel.from_pretrained(base_model, "path/to/lora_weights")
  merged_model = merged_model.merge_and_unload()
  

• 推理参数不一致
  训练后立即推理用的是PeftModel实例，合并后用的是基础模型，需确保两者的推理参数完全对齐：包括temperature、top_p、max_new_tokens、do_sample等。尤其是模块这类生成前缀，采样参数差异（比如训练时用do_sample=False，合并后误设为True）会直接导致输出错乱。

• 模型保存/加载完整性问题
  检查合并后的模型保存是否完整：确认merged_model.save_pretrained()生成了所有必要文件（config.json、pytorch_model.bin等）。加载时需指定与训练一致的device_map和torch_dtype，避免跨设备加载引发精度损耗。

• LoRA配置不匹配
  验证合并时加载的LoRA配置（r、lora_alpha、target_modules等）是否与训练时完全一致。如果训练只针对q_proj、v_proj这类特定模块做LoRA，合并时误加载了其他配置，会导致权重合并逻辑错误。可以通过打印peft_config参数来核对。

• 过拟合引发的极端权重偏移
  因故意过拟合，LoRA权重可能出现极端数值，合并后超出基础模型的权重范围，导致推理时激活值异常，引发文本重复错乱。可以打印LoRA权重的分布（最大值、平均值）排查，若存在极端值，可尝试降低训练学习率或减少轮数，避免过拟合到极端程度。

内容的提问来源于stack exchange，提问作者wiwlee