tf.keras中model.evaluate()与手动计算MSE结果不一致的原因及解决

问题描述 #

我用Keras+TensorFlow训练了一个用于回归任务的MLP，损失函数采用均方误差（MSE）。但发现model.evaluate(x_test, y_test)的结果，和先通过model.predict(x_test)得到预测值、再代入自定义MSE函数计算的结果存在细微差异——哪怕把batch size设为样本总数，差异依然存在，复杂场景下差异还会更大。以下是可复现的代码：

import tensorflow as tf
import keras
import numpy as np
import random as random # for sims and seed setting

random.seed(10)

x = np.random.normal([0, 1, 2], [2,1,4], (200, 3))
y = x[:,0] + 0.01 * np.power(x[:,1], 2) + np.sqrt(np.abs(x[:,2] - 3)) + np.random.normal(0, 1, (200))
y = y[:,np.newaxis]

x_train = x[0:100,:]
y_train = y[0:100,:]
x_test = x[101:200,:]
y_test = y[101:200,:]

# 自定义MSE函数
def MSE(a,b):
    return tf.reduce_mean(tf.pow(a - b, 2))

# 构建MLP模型
Inputs_MLP = tf.keras.Input(batch_shape = (100,3), dtype = tf.float32)
Layer1_MLP = tf.keras.layers.Dense(16)(Inputs_MLP)
Outputs_MLP = tf.keras.layers.Dense(1)(Layer1_MLP)

model_MLP = tf.keras.Model(Inputs_MLP, Outputs_MLP)
model_MLP.compile(loss = MSE)
history = model_MLP.fit(x = x_train, y = y_train, epochs=5, batch_size = 25)

# 样本外评估对比
print(model_MLP.evaluate(x_test, y_test, 100))
# 输出：5.561294078826904
pred_MLP_test = model_MLP.predict(x_test, batch_size = 100)
print(MSE(pred_MLP_test, y_test))
# 输出：<tf.Tensor: shape=(), dtype=float64, numpy=5.561294010797092>

# 样本内评估对比
print(model_MLP.evaluate(x_train, y_train, 100))
# 输出：5.460160732269287
pred_MLP_train = model_MLP.predict(x_train, batch_size = 100)
print(MSE(pred_MLP_train, y_train))
# 输出：<tf.Tensor: shape=(), dtype=float64, numpy=5.46016054713104>

差异产生的核心原因 #

1. 数据精度不匹配
   TensorFlow模型默认输出为float32精度，但你的训练/测试标签是numpy生成的float64数组。model.evaluate是在模型计算图内直接用float32精度完成损失计算；而手动计算时，predict返回的float32预测值会被自动转换为float64与标签运算，两种计算路径的精度差异导致结果出现细微偏差。

2. 固定batch_shape的隐式处理
   你在定义输入层时指定了batch_shape=(100,3)，强制模型仅接受batch size为100的输入。但测试集实际只有99个样本，evaluate和predict时TensorFlow会做隐式的batch适配处理，额外的操作进一步放大了精度差异。

解决方法 #

1. 统一数据类型 #

将所有训练、测试数据转换为float32，与模型输出精度对齐：

x_train = x_train.astype(np.float32)
y_train = y_train.astype(np.float32)
x_test = x_test.astype(np.float32)
y_test = y_test.astype(np.float32)

或者在自定义MSE函数中强制统一类型：

def MSE(a,b):
    a = tf.cast(a, tf.float32)
    b = tf.cast(b, tf.float32)
    return tf.reduce_mean(tf.pow(a - b, 2))

2. 使用动态输入shape #

去掉固定的batch_shape，改用动态shape让模型支持任意batch size：

Inputs_MLP = tf.keras.Input(shape=(3,), dtype=tf.float32)

3. 采用Keras内置MSE损失函数 #

直接使用官方实现的损失函数，它会自动处理精度和计算逻辑，确保evaluate与手动计算结果一致：

model_MLP.compile(loss=tf.keras.losses.MeanSquaredError())

按上述方法修改后，两种计算方式的MSE值会完全一致（或差异小到可忽略的浮点误差）。

内容的提问来源于stack exchange，提问作者Red