PyTorch Lightning中trainer.predict()与trainer.test()的差异及准确率不符问题

以下是常见的原因及对应的排查、解决步骤：

1. 数据集预处理/使用不一致 #

• 确认两次评估用的是完全相同的数据集对象：检查trainer.test(test_dataset)和trainer.predict(test_dataset)中的test_dataset是否是同一个，避免因数据集重新加载、划分（如shuffle）导致样本差异。
• 核对样本预处理细节：比如tokenizer的padding、truncation参数，是否添加了特殊标记，或者归一化的均值/标准差是否一致。随机抽取3-5个样本，对比test流程和predict流程中模型输入的input_ids、attention_mask等特征是否完全相同。

2. 模型状态不统一 #

• 确保两次评估前模型都处于推理模式：在调用test()和predict()前都执行model.eval()，关闭dropout、BatchNorm等训练时的随机层。
• 避免模型权重被修改：调用test()后不要对模型做任何微调、权重加载操作，直接执行predict()；或者提前保存模型权重（trainer.save_model("model_path")），两次评估都从同一路径加载模型。

3. 准确率计算逻辑差异 #

这是最常见的问题，重点核对以下几点：

• 处理logits得到标签：trainer.predict()返回的predictions是模型输出的logits，需要先取argmax得到预测标签，而不是直接用logits计算。比如：

  import numpy as np
  from sklearn.metrics import accuracy_score
  
  predict_output = trainer.predict(test_dataset)
  y_pred = np.argmax(predict_output.predictions, axis=-1)
  y_true = predict_output.label_ids
  

• 过滤忽略标签：如果你的数据集用-100标记了需要忽略的样本（Hugging Face默认的忽略标签值），trainer.test()会自动跳过这些样本，但手动计算时需要手动过滤：

  valid_mask = y_true != -100
  acc = accuracy_score(y_true[valid_mask], y_pred[valid_mask])
  

• 核对metrics函数：查看你定义的compute_metrics函数，确认其计算逻辑和手动调用accuracy_score的参数完全一致。比如compute_metrics中是否使用了normalize=True（accuracy_score默认值），是否处理了多分类/多标签的特殊情况。

4. 批次与设备差异 #

• 检查test()和predict()的batch_size是否相同：不同的batch_size可能导致最后一个批次的padding方式不同，极少数情况下会影响模型输出。
• 统一计算设备：确保两次评估都在同一设备（GPU/CPU）上执行，避免因浮点精度差异导致的微小结果偏差（一般不会影响准确率，但极端情况可能出现）。

验证示例 #

执行以下代码对比结果，定位差异来源：

# 确保模型处于eval模式
model.eval()

# 用trainer.test()获取准确率
test_metrics = trainer.test(test_dataset)
print(f"Trainer Test Accuracy: {test_metrics['test_accuracy']:.4f}")

# 手动计算准确率
predict_output = trainer.predict(test_dataset)
logits = predict_output.predictions
labels = predict_output.label_ids

# 转换logits为预测标签
y_pred = np.argmax(logits, axis=-1)

# 过滤忽略标签
valid_mask = labels != -100
y_true_valid = labels[valid_mask]
y_pred_valid = y_pred[valid_mask]

manual_acc = accuracy_score(y_true_valid, y_pred_valid)
print(f"Manual Calculation Accuracy: {manual_acc:.4f}")

内容的提问来源于stack exchange，提问作者mirkojh