LSTM训练时loss与val_loss数值差异显著是什么原因？

你当前代码配置下，二者使用的损失计算指标完全一致，都是均方误差（MSE），不存在指标不统一的问题。你观察到的量级差和测试集占比无关，是框架默认的loss统计规则差异导致的：

• 训练时打印的loss是batch级累计平均结果：每个batch前向传播算完loss、反向传播更新权重后，就把当前batch的loss记下来，整个epoch跑完后把所有batch的loss取平均输出。一个epoch里靠前的batch用的是还没充分训练的初始权重，算出来的loss本身就很高，这些高值被拉进平均值后，会把整个epoch的训练loss数值拉高。
• 打印的val_loss是epoch级整体计算结果：等整个epoch所有batch训练完成、权重更新到当前epoch的最终状态后，才用固定的最终权重在整个验证集上做前向传播算loss，全程没有权重更新，也不会被训练过程中半收敛状态的高loss拖后腿，数值自然更低。
• 你的任务是回归任务、用MSE做损失，如果数据集划分前没做标签归一化、或者划分后训练集和测试集标签分布不一致（比如训练集混了更多极端离群值、标签整体方差更大），会进一步放大二者的数值差。
• 这个表现不是过拟合，过拟合的典型特征是val_loss持续高于train_loss、且训练后期gap不断拉大，和你现在的情况完全相反。

不需要修改compile阶段的loss设置，按下面调整就能得到同口径可比的loss数值：

• 不要直接用训练过程中实时打印的batch累计平均loss做对比。可以在每个epoch训练结束后，固定当前epoch的最终模型权重，分别用model.evaluate()接口在完整训练集、完整测试集上做一次全量推理计算loss，这时候两个loss的计算条件完全一致，数值量级自然对齐。
• 数据集划分前先对特征、标签分别做标准化/归一化处理，消除极端值对MSE计算的干扰；划分时对回归标签做分桶分层抽样，保证训练集、验证集的特征分布、标签分布基本一致，避免数据分布漂移带来的数值差。
• 如果想在model.fit()的训练日志里直接看到同口径的训练集loss，可以自定义回调，在每个epoch结束时手动计算全量训练集的loss，替换默认的batch累计loss输出。

相关代码与训练日志 #

model = Sequential()
model.add(LSTM(128,input_shape = (X.shape[1], X.shape[2])))
model.add(Dense(64,activation='relu'))
model.add(Dense(32,activation='relu'))
model.add(Dense(1))
model.compile(loss='mse',optimizer='adam')
model.summary()
model.fit(X_train,y_train,batch_size=128,
          epochs=200,
          validation_data=(X_test,y_test),
          callbacks=[early_stop]
         )

Epoch 1/200
1507/1507 [==============================] - 7s 5ms/step - loss: 27.5249 - val_loss: 1.2039
Epoch 2/200
1507/1507 [==============================] - 7s 5ms/step - loss: 25.0813 - val_loss: 1.1662
Epoch 3/200
1507/1507 [==============================] - 7s 5ms/step - loss: 24.5255 - val_loss: 1.1632
Epoch 4/200
1507/1507 [==============================] - 7s 5ms/step - loss: 25.0556 - val_loss: 1.1731

内容的提问来源于stack exchange，提问作者Innuendo