如何使用Keras测试深度学习模型？拆分数据集场景求助

看起来你已经完成了数据集的拆分和加载，接下来我会一步步带你完成模型构建、训练到测试的完整流程，结合你的代码片段来补充细节：

1. 完善数据预处理 #

首先要确保特征和标签正确分离，并且做统一的归一化处理（注意：测试集必须使用训练集的统计量做归一化，避免数据泄露）：

from keras.models import Sequential
from keras.layers import Dense, Dropout
import numpy as np
from scipy import signal
import matplotlib.pyplot as plt
import pandas as pd
import itertools
from sklearn.preprocessing import MinMaxScaler  # 导入归一化工具
from sklearn.metrics import confusion_matrix, classification_report  # 导入评估工具

np.random.seed(7)

# 加载数据集
train = np.loadtxt("TrainDatasetFinal.txt", delimiter=",")
test = np.loadtxt("testDatasetFinal.txt", delimiter=",")

# 分离特征和标签（假设第0-6列是特征，第7列是标签）
X_train = train[:, 0:7]
y_train = train[:,7]
X_test = test[:, 0:7]
y_test = test[:,7]

# 特征归一化
scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)  # 用训练集拟合scaler
X_test_scaled = scaler.transform(X_test)  # 用训练集的scaler转换测试集

2. 构建并编译模型 #

根据你的任务类型（分类/回归）选择合适的网络结构、激活函数和损失函数：

# 构建Sequential模型
model = Sequential()
model.add(Dense(64, input_dim=7, activation='relu'))  # 输入维度=特征数（这里是7）
model.add(Dropout(0.2))  # 防止过拟合
model.add(Dense(32, activation='relu'))
# 输出层：如果是二分类用sigmoid，多分类用softmax，回归用linear
model.add(Dense(1, activation='sigmoid'))

# 编译模型
# 二分类用binary_crossentropy，多分类用categorical_crossentropy，回归用mse
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

3. 训练模型 #

先在训练集上训练模型，同时可以用验证集监控训练情况：

# 训练模型，validation_split=0.1表示用10%的训练数据做验证
history = model.fit(X_train_scaled, y_train, epochs=50, batch_size=32, validation_split=0.1)

4. 测试模型（核心步骤） #

4.1 评估模型性能 #

直接在测试集上计算损失和指定的评估指标：

# 在测试集上评估模型
test_loss, test_acc = model.evaluate(X_test_scaled, y_test)
print(f"测试集损失: {test_loss:.4f}")
print(f"测试集准确率: {test_acc:.4f}")

4.2 生成预测结果 #

获取模型对测试集的预测值，方便后续分析：

# 生成预测概率
y_pred_probs = model.predict(X_test_scaled)
# 二分类场景下，将概率转换为类别标签（阈值设为0.5）
y_pred = (y_pred_probs > 0.5).astype(int)
# 如果是多分类场景，用以下代码获取类别标签：
# y_pred = np.argmax(model.predict(X_test_scaled), axis=1)

4.3 可视化与详细评估 #

可以通过混淆矩阵、分类报告或训练曲线来更深入分析模型表现：

# 打印混淆矩阵和分类报告
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))
print("\n分类报告:")
print(classification_report(y_test, y_pred))

# 绘制训练/验证损失曲线
plt.plot(history.history['loss'], label='训练损失')
plt.plot(history.history['val_loss'], label='验证损失')
plt.title('模型损失变化')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.show()

# 绘制训练/验证准确率曲线
plt.plot(history.history['accuracy'], label='训练准确率')
plt.plot(history.history['val_accuracy'], label='验证准确率')
plt.title('模型准确率变化')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

关键注意事项 #

• 数据一致性：测试集的预处理逻辑必须和训练集完全一致，比如归一化时不能用测试集的均值/最大值，否则会导致模型泛化能力下降。
• 匹配任务类型：输出层激活函数和损失函数要对应任务（分类/回归），比如多分类任务需要将标签转为one-hot编码，配合categorical_crossentropy损失。
• 防止过拟合：可以通过Dropout层、早停（EarlyStopping）或调整模型复杂度来避免过拟合，提升模型在测试集上的表现。

内容的提问来源于stack exchange，提问作者Hadeer El-Zayat