如何在HuggingFace中训练RobertaForMaskedLM时无性能提升即停止？

要实现训练到性能不再提升就自动停止，核心是用HuggingFace Trainer的早停回调（EarlyStoppingCallback），具体步骤如下：

1. 导入必要组件 #

首先导入早停回调及训练相关核心类：

from transformers import (
    RobertaForMaskedLM,
    RobertaTokenizer,
    Trainer,
    TrainingArguments,
    EarlyStoppingCallback
)
from datasets import load_dataset

2. 配置训练参数 #

设置TrainingArguments时，需开启评估策略、同步保存策略，允许加载最优模型，同时把num_train_epochs设为较大值（比如100），依赖早停提前终止训练：

training_args = TrainingArguments(
    output_dir="./roberta_mlm_output",
    evaluation_strategy="epoch",  # 每个epoch结束后评估性能
    save_strategy="epoch",        # 和评估策略同步保存模型
    load_best_model_at_end=True,  # 训练结束后加载最优模型
    num_train_epochs=100,         # 设置足够大的epochs，靠早停终止
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    logging_dir="./logs",
)

3. 初始化早停回调 #

定义早停触发条件：patience表示连续多少个epoch性能无提升就停止，threshold设置性能提升的最小阈值，避免微小波动触发停止：

early_stopping_callback = EarlyStoppingCallback(
    early_stopping_patience=3,  # 连续3个epoch无提升则停止
    early_stopping_threshold=0.001  # 性能提升小于0.001视为无进步
)

4. 初始化模型、数据集并启动训练 #

准备好模型、分词器和预处理后的数据集，将早停回调传入Trainer：

# 加载分词器和模型（从头训练可直接用配置初始化，示例用roberta-base权重启动）
tokenizer = RobertaTokenizer.from_pretrained("roberta-base")
model = RobertaForMaskedLM.from_pretrained("roberta-base", ignore_mismatched_sizes=True)

# 加载并预处理数据集（示例用wikitext数据集）
dataset = load_dataset("wikitext", "wikitext-103-v1")
def preprocess_function(examples):
    return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)
tokenized_datasets = dataset.map(preprocess_function, batched=True)

# 初始化Trainer并传入早停回调
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    callbacks=[early_stopping_callback]
)

# 启动训练
trainer.train()

关键注意事项 #

• 必须开启评估策略：evaluation_strategy需设为"epoch"或"steps"，否则无法获取验证集性能判断是否触发早停。
• 调整patience值：太小可能错过后续性能提升，太大浪费计算资源，建议根据任务设为3-5。
• 加载最优模型：load_best_model_at_end=True确保最终得到的是训练过程中性能最好的模型，而非最后一个epoch的模型。

内容的提问来源于stack exchange，提问作者Chiara