HuggingFace Blenderbot自定义数据集微调报错及可行方法求助

两段代码运行失败的核心原因是模型类和所用框架不匹配，两个方案的典型错误点：

• 调用compile()/fit()时报属性不存在：你加载的BlenderbotForConditionalGeneration是PyTorch框架下的模型实现类，本身就没有TensorFlow/Keras模型的内置训练方法，直接调用必然报错。
• 调用trainer.train()报错：大概率是漏导入Trainer、TrainingArguments模块，或者依赖版本不兼容，也有不少人是预处理数据集时没按seq2seq任务格式处理，导致训练流程初始化失败。

HuggingFace生态对PyTorch的适配完整度远高于TensorFlow，Blenderbot相关的落地微调方案基本都基于PyTorch实现，优先用PyTorch方案跑通成本最低。

1. 先安装对齐版本的依赖

pip install transformers datasets torch evaluate accelerate -U

2. 导入全部所需模块，加载模型和分词器

from transformers import (
    BlenderbotTokenizer,
    BlenderbotForConditionalGeneration,
    TrainingArguments,
    Trainer,
    DataCollatorForSeq2Seq
)
from datasets import load_dataset
import evaluate
import numpy as np

mname = "facebook/blenderbot-400M-distill"
tokenizer = BlenderbotTokenizer.from_pretrained(mname)
model = BlenderbotForConditionalGeneration.from_pretrained(mname)

3. 自定义数据集预处理
   对话模型属于seq2seq生成任务，需要分别编码输入上下文和目标回复，不能直接套用文本分类的预处理逻辑：

# 自定义数据集按csv格式存储即可，需包含两列：dialogue_input（对话上下文/用户输入）、response（待学习的目标回复）
dataset = load_dataset("csv", data_files="your_custom_dataset.csv")

def process_func(examples):
    # 编码输入
    model_inputs = tokenizer(examples["dialogue_input"], max_length=128, truncation=True)
    # 编码目标标签
    labels = tokenizer(text_target=examples["response"], max_length=128, truncation=True)
    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

# 批量处理数据集，拆分训练/验证集
tokenized_data = dataset.map(process_func, batched=True)
tokenized_data = tokenized_data["train"].train_test_split(test_size=0.1)
# 小批量测试时可截取部分数据，全量训练去掉select部分即可
train_set = tokenized_data["train"].shuffle(seed=42).select(range(1000))
eval_set = tokenized_data["test"].shuffle(seed=42).select(range(200))

# 加载seq2seq任务专用数据整理器，自动完成padding等操作
data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=model)

4. 配置评估逻辑与训练参数，启动训练

# 加载生成任务常用的ROUGE评估指标
rouge = evaluate.load("rouge")

def compute_metrics(eval_pred):
    preds, labels = eval_pred
    decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=True)
    # 把填充位替换回pad token再解码
    labels = np.where(labels != -100, labels, tokenizer.pad_token_id)
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)
    res = rouge.compute(predictions=decoded_preds, references=decoded_labels, use_stemmer=True)
    return {k: round(v, 4) for k, v in res.items()}

# 训练参数
training_args = TrainingArguments(
    output_dir="./blenderbot_finetuned",
    learning_rate=2e-5,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    num_train_epochs=3,
    weight_decay=0.01,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    fp16=True # 支持半精度的N卡开启，可大幅降低显存占用
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_set,
    eval_dataset=eval_set,
    tokenizer=tokenizer,
    data_collator=data_collator,
    compute_metrics=compute_metrics
)

# 启动训练
trainer.train()

如果坚持用TensorFlow栈训练，不要使用PyTorch对应的模型类，替换为TF专属实现TFBlenderbotForConditionalGeneration加载权重，再按常规Keras流程调用compile()、fit()即可正常运行。

如果Blenderbot调试仍有问题，可替换为以下社区成熟度更高、微调资料更丰富的对话模型：

• 轻量低显存需求：DialoGPT（小参数版本单卡4G显存即可微调）、Qwen-1.8B-Chat
• 效果优先：Llama-2-7B-Chat、ChatGLM3-6B、Qwen-7B-Chat，配合4bit量化最低8G显存即可完成微调，对话效果远超Blenderbot。

注意：所有生成类对话模型微调时，必须使用seq2seq对应的数据整理器，不要直接套用分类任务的通用数据处理逻辑，否则会出现loss计算异常，训练结果完全不可用。

内容的提问来源于stack exchange，提问作者Ketaki Kolhatkar