使用Hugging Face PEFT微调GPT-2分类模型遇加载及评估问题求助

问题1：让PEFT加载GPT-2完整训练版本的方法 #

你遇到的警告是因为PEFT默认仅保存LoRA适配器权重，不会存储原模型的分类头（score.weight）权重。加载时如果直接用AutoPeftModelForSequenceClassification.from_pretrained，它会重新初始化新的分类头，而非使用你之前训练好的版本。解决方式有两种：

方式1：先加载训练好的基础模型，再叠加LoRA适配器 #

先加载你之前训练完成的完整GPT-2序列分类模型，再将LoRA适配器加载到该模型上：

from transformers import AutoModelForSequenceClassification
from peft import PeftModel

# 加载已训练好的完整GPT-2分类模型
base_model = AutoModelForSequenceClassification.from_pretrained(
    "path/to/your/trained_gpt2_seq_cls",  # 替换为你保存训练后模型的路径
    num_labels=2,
    id2label=id2label,
    label2id=label2id
)

# 加载LoRA适配器到基础模型
lora_model = PeftModel.from_pretrained(base_model, "gpt-2_lora")

方式2：合并LoRA权重与基础模型后保存/加载 #

如果希望后续直接加载完整模型，可以将LoRA权重合并到基础模型中，保存为一个完整的模型文件：

# 在训练完成后合并权重
merged_model = lora_model.merge_and_unload()
merged_model.save_pretrained("gpt-2_merged_full")

# 后续加载时直接用标准方法
from transformers import AutoModelForSequenceClassification

full_model = AutoModelForSequenceClassification.from_pretrained(
    "gpt-2_merged_full",
    num_labels=2,
    id2label=id2label,
    label2id=label2id
)

问题2：AttributeError: '...' object has no attribute 'task'的原因与解决 #

原因 #

Hugging Face的evaluator组件要求传入的model_or_pipeline对象必须包含task属性，但PEFT封装后的PeftModelForSequenceClassification并没有这个属性，因此触发报错。

解决方法 #

方法1：将PEFT模型包装为Pipeline

把PEFT模型转换成Hugging Face标准的pipeline对象，该对象自带task属性，符合evaluator的要求：

from transformers import pipeline
from evaluate import evaluator, combine

task_evaluator = evaluator('text-classification')
classifier = pipeline(
    "text-classification",
    model=lora_model,
    tokenizer=tokenizer,
    return_all_scores=False
)

eval_results = task_evaluator.compute(
    model_or_pipeline=classifier,
    data=ds_test,
    input_column=dataset_textfield_name,
    metric=combine(['accuracy', 'f1']),
    label_mapping=label2id
)
print(eval_results)

方法2：手动添加task属性

直接给PEFT模型添加task属性，绕过evaluator的检查：

lora_model.task = "text-classification"

# 之后正常运行评估代码
task_evaluator = evaluator('text-classification')
eval_results = task_evaluator.compute(
    model_or_pipeline=lora_model,
    tokenizer=tokenizer,
    data=ds_test,
    input_column=dataset_textfield_name,
    metric=evaluate.combine(['accuracy', 'f1']),
    label_mapping=label2id
)

内容的提问来源于stack exchange，提问作者countermode