有人尝试用纯PyTorch重实现Seq2SeqTrainer吗？训练效果差异求解

我最近尝试微调一个基于T5的模型，对比了HuggingFace的Seq2SeqTrainer和纯PyTorch自定义类实现的训练效果。

纯PyTorch方案的迭代过程 #

• 最初仅使用Adam优化器，设置lr=2e-5，在小型测试集上达到0.8的准确率。
• 参考HuggingFace的参数和示例后，改用AdamW优化器，结合学习率调度器与梯度裁剪，调整后性能提升至0.891。优化后的核心代码如下：

from torch.optim import AdamW
k_lr = 5e-5
k_adam_eps = 1e-8
from transformers import get_linear_schedule_with_warmup
k_warmup_steps = 0.1*30*len(train_dataloader)
total_steps = 30*len(train_dataloader)
optimizer = AdamW(model.parameters(), lr=k_lr, eps=k_adam_eps)
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=k_warmup_steps,
                                            num_training_steps=total_steps)

# ... 训练循环部分
input_ids = batch['input_ids'].to(device)
input_attention_mask = batch['input_attention_mask'].to(device)
labels = batch['labels'].to(device)
labels_attention_mask = batch['labels_attention_mask'].to(device)

loss, logits = model(input_ids=input_ids,
                input_attention_mask=input_attention_mask,
                output_ids=labels,
                output_attention_mask=labels_attention_mask)

train_loss.append(loss.item())
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
optimizer.step()
scheduler.step()

效果对比与差异分析 #

• 性能上限：纯PyTorch方案的最优准确率0.891仍低于Seq2SeqTrainer的0.91（仅差1个正确样本）。
• 损失与学习率差异：纯PyTorch方案首个批次损失为21.3，而Seq2SeqTrainer为42，两者的损失值和学习率变化存在明显差异。
• 训练稳定性：Seq2SeqTrainer训练性能非常稳定，达到局部最优（测试集准确率0.91）后，后续epochs几乎保持该水平；纯PyTorch训练的性能波动较大，30个epochs中仅2-3次达到0.89的准确率。

个人使用感受 #

我不太喜欢使用HuggingFace Trainer，它的可读性较差，且不像PyTorch Lightning或纯PyTorch自定义类那样易于修改。

内容的提问来源于stack exchange，提问作者tjns