训练并推送PEFT-LoRA量化Llama-2模型后加载失败求助

报错原因分析 #

1. AttributeError: 'LlamaForCausalLM' object has no attribute 'load_adapter'：load_adapter是PEFT库中PeftModel类的专属方法，直接调用基础模型LlamaForCausalLM的该方法必然报错。
2. does not appear to have a file named config.json：你推送到Hub的是LoRA适配器文件，而非完整的Llama基础模型，用LlamaForCausalLM.from_pretrained加载适配器仓库，找不到基础模型必需的config.json是必然结果。

正确解决步骤 #

第一步：重新正确推送LoRA适配器（若之前推送方式错误）

训练完成后，需用PEFT库的方法保存并推送适配器，而非直接调用基础模型的push_to_hub：

from peft import PeftModel

# 假设训练后的模型是peft_model（PeftModel实例）
peft_model.save_pretrained("local-lora-adapter")
peft_model.push_to_hub("username/my-awesome-lora-adapter", use_auth_token=hf_auth)

推送完成后检查Hub仓库，应包含adapter_config.json、adapter_model.bin两个核心文件。

第二步：正确加载LoRA模型

必须先加载基础模型，再挂载LoRA适配器：

from transformers import LlamaForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig

# 1. 加载PEFT配置，自动获取基础模型路径
peft_config = PeftConfig.from_pretrained("username/my-awesome-lora-adapter", use_auth_token=hf_auth)

# 2. 加载与训练时一致的基础模型（量化方式需匹配）
base_model = LlamaForCausalLM.from_pretrained(
    peft_config.base_model_name_or_path,
    device_map="auto",
    load_in_4bit=True,
    use_auth_token=hf_auth
)
tokenizer = AutoTokenizer.from_pretrained(peft_config.base_model_name_or_path, use_auth_token=hf_auth)

# 3. 将LoRA适配器挂载到基础模型上
peft_model = PeftModel.from_pretrained(base_model, "username/my-awesome-lora-adapter", use_auth_token=hf_auth)

# 可选：合并适配器与基础模型（生成完整可独立加载的模型）
merged_model = peft_model.merge_and_unload()
merged_model.push_to_hub("username/my-merged-full-model", use_auth_token=hf_auth)

额外注意事项 #

• 确保依赖库版本兼容：执行pip install --upgrade peft transformers accelerate bitsandbytes更新到最新稳定版。
• 若之前错误推送了仓库，先去Hub删除错误仓库，再重新推送正确的适配器文件。

内容的提问来源于stack exchange，提问作者klsmgföl