使用PEFT微调Llama-2-7b-chat-hf时Tokenizer加载报错求助

错误根源 #

你这段代码里有两个明显问题：

1. 参数传错：AutoTokenizer.from_pretrained(model) 把已经加载好的PyTorch模型对象传给了方法，但这个方法需要的是模型仓库ID（比如meta-llama/Llama-2-7b-chat-hf）或本地模型路径，不是模型实例。程序把模型的字符串输出当成了Repo ID，自然不符合格式要求，才抛出HFValidationError。
2. 语法错误：你把if判断和赋值写在一行的写法不符合Python语法规范。

正确代码示例 #

直接基于之前已经加载好的tokenizer处理即可，不需要重新调用from_pretrained：

model_checkpoint = 'meta-llama/Llama-2-7b-chat-hf'

# 原加载代码保留（这部分你写的没问题）
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForCausalLM.from_pretrained(
    model_checkpoint,
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_4bit=True,
)

# 检查并添加pad token的正确写法
if tokenizer.pad_token is None:
    tokenizer.add_special_tokens({'pad_token': '[PAD]'})
    # 必须执行这一步：新增token后，同步调整模型的embedding层维度
    model.resize_token_embeddings(len(tokenizer))

关键提示 #

• Llama-2原生tokenizer没有pad token，手动添加是微调时处理批量数据的必要操作，否则会报数据长度不匹配的错误。
• 调用resize_token_embeddings()是硬性要求，新增token后，模型的词嵌入层和输出头维度必须与tokenizer的词汇表长度一致，不然会出现维度不兼容的报错。
• 用PEFT做LoRA微调时，这个调整不会影响LoRA的工作，PEFT会自动适配新的embedding维度。

内容的提问来源于stack exchange，提问作者Ralph Boas Stücher