LSTM多分类任务输入重塑及延迟测量报错问题咨询

问题背景 #

深度学习初学者使用LSTM开展多分类任务，数据集特征数为10、时间步为1，目标类别共5类（0、1、2、3、4），存在三个疑问：

• 输入重塑操作是否正确
• 测量模型延迟时出现报错
• 模型得出的良好结果存疑

代码与报错信息 #

#Feature scaling 
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
train_data= scaler.fit_transform(train_data)
test_data= scaler.transform(test_data)

epochs = 10
batch_size = 128
feature_num=10 # number of features 
timesteps=1

# Reshape the input to shape (num_instances, timesteps, num_features)
train_data = np.reshape(train_data, (train_data.shape[0], timesteps, feature_num))
test_data=np.reshape(test_data, (test_data.shape[0], timesteps, feature_num))

# convert the target labels to one-hot encoded format
train_labels = to_categorical(train_labels, num_classes=5)
test_labels = to_categorical(test_labels, num_classes=5)

# build the model
model = Sequential()
model.add(LSTM(64, input_shape=(timesteps,feature_num), return_sequences=True, activation='sigmoid'))
model.add(Flatten())
model.add(Dense(5, activation='softmax')) 

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

callback = EarlyStopping(patience=3)

history = model.fit(train_data, train_labels,
                    epochs=epochs,
                    batch_size=batch_size,
                    validation_data=(test_data, test_labels),
                    callbacks=[callback])

# Evaluate the model
y_pred = model.predict(test_data)
y_pred_classes = np.argmax(y_pred, axis=1)
y_test_classes = np.argmax(test_labels, axis=1)
print(classification_report(y_test_classes, y_pred_classes))

report = classification_report(y_test_classes, y_pred_classes, output_dict=True)

# extract the class names and metrics from the report
class_names = list(report.keys())[:-3]
metrics = ['precision', 'recall', 'f1-score']

# calculate the confusion matrix
conf_mat = confusion_matrix(y_test_classes, y_pred_classes)

# create a heatmap of the confusion matrix
sns.heatmap(conf_mat, annot=True, cmap='Blues')

# set the axis labels and title
plt.xlabel('Predicted Labels')
plt.ylabel('True Labels')
plt.title('Confusion Matrix')

# show the plot
plt.show()

#Measure model Latency 
start_time = time.time()
y_pred = model.predict(np.expand_dims(test_data, axis=0))
end_time = time.time()
latency = end_time - start_time
print(f"Latency: {latency} seconds")

报错信息：

2023-03-07 15:31:53.584508: W tensorflow/core/framework/op_kernel.cc:1780] OP_REQUIRES failed at transpose_op.cc:142 : INVALID_ARGUMENT: transpose expects a vector of size 4. But input(1) is a vector of size 3

具体解答 #

1. 输入重塑操作是否正确 #

你的输入重塑是正确的。LSTM层的输入要求是(num_samples, timesteps, num_features)，原始训练/测试数据为(num_samples, 10)的二维数组，通过np.reshape转换为(num_samples, 1, 10)，完全符合LSTM的输入格式要求。

注意：当时间步为1时，LSTM的时序建模优势无法充分发挥，用普通全连接层（Dense）也能达到类似效果，可尝试对比两种模型的性能差异。

2. 模型延迟测量报错的解决 #

报错原因是传入了不符合要求的输入维度：

• test_data原本形状为(num_samples, 1, 10)（3维），np.expand_dims(test_data, axis=0)后变为(1, num_samples, 1, 10)（4维），而模型期望输入是3维数据，因此触发维度不匹配错误。

分场景解决：

• 测量单样本推理延迟（贴近实际部署场景）：取单个样本传入模型，代码修改为：

  start_time = time.time()
  # 取测试集中第一个样本，形状为(1,1,10)
  y_pred = model.predict(test_data[0:1])
  end_time = time.time()
  latency = end_time - start_time
  print(f"Single sample latency: {latency} seconds")
  

  或用np.expand_dims(test_data[0], axis=0)，效果一致。

• 测量整个测试集推理延迟：直接传入原始test_data即可，无需额外扩展维度：

  start_time = time.time()
  y_pred = model.predict(test_data)
  end_time = time.time()
  latency = end_time - start_time
  print(f"Test set total latency: {latency} seconds")
  

为得到更准确的延迟数据，建议多次推理取平均值，避免单次运行的波动影响结果。

3. 对模型良好结果的验证建议 #

如果模型表现远超预期，建议从以下方面排查：

• 检查数据划分合理性：确认训练集和测试集严格划分，无数据泄露（如训练数据混入测试数据）。推荐用分层抽样划分，保证两类数据的类别分布一致。
• 查看过拟合情况：绘制训练集和验证集的loss曲线，若训练loss持续下降但验证loss上升，说明模型过拟合，可通过添加Dropout层、减少模型参数或增加训练数据缓解。
• 分析类别分布：检查数据集的类别占比，若某类样本占比极高，模型可能倾向于预测该类导致准确率虚高。此时需重点查看混淆矩阵和分类报告中的precision、recall、f1-score指标，而非仅看准确率。
• 交叉验证：用K折交叉验证代替简单的train-test split，验证模型在不同数据划分下的稳定性，确保结果不是偶然情况。

内容的提问来源于stack exchange，提问作者Sarah