TensorFlow中model.evaluate与model.predict结果不一致问题排查

以下是针对你遇到的测试集上model.evaluate与model.predict准确率相差10%的可能原因及排查方案：

1. 输入预处理逻辑不一致 #

model.evaluate使用的TF Dataset可能和model.predict传入的数据存在预处理差异：

• 检查tokenizer参数：确保预测时使用的max_length、padding、truncation参数和处理训练/验证集时完全一致。比如训练时用了padding='max_length'，预测时不能漏掉这个参数。
• 验证输入结构：确认predict传入的数据包含input_ids和attention_mask（BERT必须的输入），且格式与TF Dataset的输出一致（比如都是Tensor格式，而非numpy数组的维度错误）。

2. 模型未进入推理模式 #

model.evaluate会自动将模型切换到eval模式（关闭dropout、BatchNorm的训练状态），但model.predict默认不会主动切换：

• 在调用predict前添加代码：

  model.eval()
  

  或者用TF的上下文管理器：

  with tf.keras.backend.learning_phase_scope(0):
      predictions = model.predict(test_data)
  

  之后重新计算准确率，看是否与evaluate结果对齐。

3. 准确率计算逻辑错误 #

自己计算predict结果的准确率时，可能和evaluate使用的指标逻辑不匹配：

• 若为二分类任务：
  • 当num_labels=2时，predict返回的是形状为(样本数, 2)的logits，需用tf.argmax(predictions, axis=1)获取预测类别，再与真实标签对比。
  • 当num_labels=1时，返回的是形状为(样本数, 1)的logits，需用tf.where(predictions > 0, 1, 0)（对应BERT默认的sigmoid输出）转换为类别。
• 核对样本数量：确保计算准确率时，真实标签的数量与predict结果的数量完全一致，没有遗漏或重复样本。
• 手动验证样本：抽取10-20个测试样本，分别用evaluate和predict查看结果，确认单个样本的预测是否一致，定位是否是整体计算的错误。

4. 测试集批次处理差异 #

model.evaluate会自动处理TF Dataset的所有批次（包括最后一个不足batch size的批次），但如果手动拆分数据给predict，可能出现批次处理问题：

• 统计测试集总样本数：用tf.data.experimental.cardinality(test_dataset).numpy()获取样本数，对比predict返回结果的长度，确保两者相等。
• 若手动构建predict的输入batch，确保最后一个批次的padding方式与TF Dataset一致，不要丢弃不足batch size的样本。

5. 模型权重不一致 #

如果在evaluate和predict之间修改过模型，或者使用了不同的模型实例，会导致结果差异：

• 在evaluate完成后立即调用predict，不要进行模型保存/加载或权重修改操作，看准确率是否一致。
• 打印模型某一层的权重值（比如model.layers[-1].weights），确认evaluate和predict前的模型权重完全相同。

内容的提问来源于stack exchange，提问作者schrodingers-dog