如何将归一化数据输入双向LSTM？维度适配与预测疑问解答

1. 为什么需要将X_train重塑为3维，这个操作是否合理？ #

• LSTM（包括双向LSTM）层要求输入为3维张量，格式必须是 (样本数量, 时间步长, 特征数)。你最初的X_train是2维数组(2000,50)，仅包含样本数和词汇维度，缺少LSTM必需的时间步维度，因此触发维度不兼容错误。
• 将数据重塑为(2000,50,1)是完全合理的：
  • 这里把50个词汇视为长度为50的时间序列，每个词汇对应序列中的一个时间步；
  • 每个时间步的特征数设为1，对应该词汇的TF-IDF归一化值。这是文本序列处理中的标准操作，尤其适合单特征序列输入LSTM的场景。

2. 为什么测试数据无需重塑就能正常运行？ #

• Keras的model.predict()方法会自动进行维度广播：当输入的测试数据是2维(N,50)时，它会自动在末尾添加一个维度，转换为(N,50,1)，与训练时模型期望的输入形状匹配，因此不会报错。
• 但这种自动处理是隐含行为，不建议依赖：如果后续调整模型结构（比如增加特征数）或输入逻辑变化，这种自动扩展可能导致难以排查的错误。建议手动将测试数据也重塑为一致的3维形状，示例代码：

  X_test = X_test.reshape(-1, 50, 1)
  

修正后的完整代码示例 #

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Bidirectional, LSTM, Dense

# 模拟数据
X_train = np.random.rand(2000,50)
y_train = np.random.randint(0,2,size=(2000,1))
X_test = np.random.rand(500,50)

# 统一重塑训练和测试数据
X_train = X_train.reshape(-1, 50, 1)
X_test = X_test.reshape(-1, 50, 1)

n_LSTM_units = 64
n_dense_units = 1
n_epochs = 10
batch_size = 32

model = Sequential()
model.add(Bidirectional(LSTM(units=n_LSTM_units, return_sequences=False)))
model.add(Dense(units=n_dense_units, activation='sigmoid'))
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=n_epochs, batch_size=batch_size)

# 使用标准化后的测试数据预测
predictions = model.predict(X_test)

内容的提问来源于stack exchange，提问作者Wilko