如何让Wandb/Accelerate记录HuggingFace Trainer全阶段日志？

问题背景 #

使用Accelerate和Wandb微调T5模型时，仅trainer.train()阶段的日志能在Wandb项目页面显示，evaluate()和predict()阶段的日志完全缺失。

核心原因 #

Seq2SeqTrainer默认仅在训练阶段自动同步日志到Wandb，评估和预测阶段需要额外配置或手动触发日志同步；同时需确保Accelerate的跟踪会话覆盖全流程。

具体解决方案 #

1. 配置训练参数强制日志上报 #

在Seq2SeqTrainingArguments中添加关键参数，让Trainer自动处理全阶段日志：

trainer_arguments = transformers.Seq2SeqTrainingArguments(
    # 保留原有参数
    report_to="wandb",  # 明确指定日志上报至Wandb
    logging_steps=100,  # 与训练阶段保持一致的日志频率（按需调整）
    evaluation_strategy="epoch",  # 或"steps"，定义评估触发时机
    save_strategy="epoch",
    load_best_model_at_end=True,  # 可选，若基于最优模型评估
)

2. 手动同步评估/预测结果 #

若自动配置未生效，可手动提取结果并通过Accelerate跟踪器上报：

# 执行评估并同步日志
eval_results = trainer.evaluate()
accelerator.log(eval_results, step=trainer.state.global_step)  # 关联训练全局步数

# 执行预测并同步日志
predict_results = trainer.predict(test_dataset)
# 按需提取预测指标（如BLEU、ROUGE等）上报
accelerator.log(
    {k: v for k, v in predict_results.metrics.items() if "test_" in k},
    step=trainer.state.global_step
)

3. 保持跟踪会话覆盖全流程 #

确保evaluate()和predict()在Accelerate的跟踪会话内执行，不要提前终止会话：

# 按顺序执行全流程
trainer.train()
eval_results = trainer.evaluate()
accelerator.log(eval_results, step=trainer.state.global_step)
predict_results = trainer.predict(test_dataset)
accelerator.log(predict_results.metrics, step=trainer.state.global_step)

# 最后统一结束跟踪
accelerator.end_training()

4. 检查Wandb页面过滤设置 #

登录Wandb项目页面后，确认未开启阶段过滤（如仅显示"Train"），切换到All Runs或勾选所有阶段，避免日志被误隐藏。

内容的提问来源于stack exchange，提问作者Ofek Glick