如何将4-bit LLAMA权重与LoRA权重合并为单个.pt文件？

前置依赖安装 #

确保你的Python环境已安装以下依赖库：

pip install torch transformers peft bitsandbytes

合并操作脚本 #

创建一个名为merge_lora_4bit.py的Python脚本，写入以下代码：

import torch
from peft import PeftModel
from transformers import LlamaForCausalLM, LlamaConfig

# 加载4bit基础模型
base_model = LlamaForCausalLM.from_pretrained(
    "./",  # 替换为llama-7b-4bit.pt所在的目录路径
    load_in_4bit=True,
    device_map='auto',
    config=LlamaConfig.from_pretrained("./")
)

# 加载Alpaca LoRA适配器
lora_model = PeftModel.from_pretrained(base_model, "./")  # 替换为adapter_model.bin所在的目录路径

# 合并模型并保存为单文件4bit模型
merged_model = lora_model.merge_and_unload()
torch.save(merged_model.state_dict(), "./llama-7b-alpaca-4bit.pt")

print("合并完成，已生成单文件4bit模型：llama-7b-alpaca-4bit.pt")

执行合并 #

在终端运行脚本：

python merge_lora_4bit.py

关键注意事项 #

• 务必将脚本中的目录路径替换为你实际存放llama-7b-4bit.pt和adapter_model.bin的路径
• 合并过程需要足够显存支撑，建议使用显存≥16GB的GPU
• 生成的llama-7b-alpaca-4bit.pt可直接用于lama.cpp的4bit推理场景

内容的提问来源于stack exchange，提问作者DuckQueen