如何使用Scikit-Learn正确绘制训练集与验证集损失曲线
Scikit-Learn 回归任务训练/验证损失曲线绘制实现
现有三版实现的问题定位
- 第一版实现的逻辑错误:代码中两次标记的
fit(Xval, yval)完全违背训练流程规范。MLPRegressor的loss_curve_属性仅记录模型对传入训练集执行迭代优化时的逐轮训练损失,将验证集直接传入fit时,已在训练集完成权重更新的模型会把验证集当作新的训练数据继续更新参数,得到的所谓“验证曲线”本质是二次训练的轨迹,并非独立于训练流程的验证集性能记录,完全不具备参考价值。 - 第二版实现的属性误用:
MLPRegressor开启early_stopping=True时的validation_scores_有严格适用前提。该属性记录的是模型自动从训练集内部拆分得到的内置验证集逐轮迭代的R²得分,指标方向为“越高越好”,和loss_curve_记录的“越低越好”的训练损失量纲、方向完全不一致,直接同图绘制自然会出现走势反常的结果。同时内置验证集是自动从训练集切分的,并未使用用户提前独立拆分的Xval/yval,和预期的外部独立验证性能记录不是同一概念。 - 第三版实现的迭代逻辑错误:代码中设置
max_iter=1但循环内反复调用mlp.fit(X_train, Y_train),Scikit-Learn的MLP默认warm_start=False,每次调用fit都会将之前训练得到的权重全部重置为随机初始化状态,相当于每轮迭代都是从随机起点仅执行1次参数更新,模型性能自然不会随迭代轮次上升,最终绘制出无波动的水平直线。
符合训练流程的正确实现方法
实现逻辑和Keras训练时逐轮记录损失、同步计算验证集性能的逻辑完全对齐:训练过程中逐轮记录训练集损失,同时用独立验证集做前向推理计算损失,全程不将验证集数据传入权重更新流程。
import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.neural_network import MLPRegressor from sklearn.metrics import mean_squared_error from sklearn.preprocessing import StandardScaler # 加载混凝土抗压强度数据集 df = pd.read_csv("Concrete_Data.csv") # 打乱数据后按8:1:1拆分训练、验证、测试集 train, validate, test = np.split( df.sample(frac=1, random_state=2), [int(.8*len(df)), int(.9*len(df))] ) # 分离特征与标签 X_train = train.drop(["ConcreteCompStrength"], axis="columns") y_train = train["ConcreteCompStrength"] X_val = validate.drop(["ConcreteCompStrength"], axis="columns") y_val = validate["ConcreteCompStrength"] # 神经网络必须做特征标准化,否则训练会出现震荡 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_val_scaled = scaler.transform(X_val) # 初始化记录容器 train_loss_history = [] val_loss_history = [] # 关键配置: # 1. warm_start=True:每次调用fit不重置权重,仅基于上一轮结果继续迭代 # 2. max_iter=1:每次fit仅执行1个epoch的参数更新 # 3. early_stopping=False:关闭内置验证集逻辑,使用自定义拆分的外部验证集 mlp = MLPRegressor( activation="relu", solver="adam", random_state=2, warm_start=True, max_iter=1, early_stopping=False ) # 逐epoch迭代记录损失 for epoch in range(5000): mlp.fit(X_train_scaled, y_train) # 计算当前epoch训练集MSE(和MLP默认损失函数一致) train_pred = mlp.predict(X_train_scaled) train_mse = mean_squared_error(y_train, train_pred) train_loss_history.append(train_mse) # 仅通过predict计算验证集损失,不参与权重更新 val_pred = mlp.predict(X_val_scaled) val_mse = mean_squared_error(y_val, val_pred) val_loss_history.append(val_mse) # 绘制统一指标的损失曲线 plt.plot(train_loss_history, label="train MSE") plt.plot(val_loss_history, label="validation MSE") plt.xlabel("Epoch") plt.ylabel("Mean Squared Error") plt.legend() plt.show()
关键注意事项
- 所有验证集、测试集的性能计算仅通过
predict方法完成,绝对不能传入fit流程,否则会造成数据泄露,违背模型评估的基本规范。 - 绘制曲线时必须统一指标的方向和量纲,不能直接将“越高越好”的得分指标和“越低越好”的损失指标同图绘制。
- 神经网络对特征尺度敏感,训练前必须完成特征标准化,否则会出现损失震荡、收敛慢的问题。
内容的提问来源于stack exchange,提问作者Little
相关产品推荐
相关产品推荐

