TensorFlow中BiLSTM多分类模型的形状不兼容问题解决

问题背景 #

基于新闻分类数据集构建7分类BiLSTM模型，标签已转换为0-6的整数，训练数据形状：

• X_train: (171812, 384)
• y_train: (171812,)
• X_test: (37715, 384)
• y_test: (37715,)

模型代码如下：

#    parameters
DENSE1_DIM = 64
DENSE2_DIM = 32
LSTM1_DIM = 32 
LSTM2_DIM = 16
WD = 0.001
FILTERS = 64

input_dim= 10000
output_dim =128
max_length =384

# Model Definition 
model_lstm = tf.keras.Sequential([
    tf.keras.layers.Embedding(input_dim, output_dim, input_length=max_length),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(LSTM1_DIM, dropout=0.2, kernel_regularizer = regularizers.l2(WD), return_sequences=True)), 
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(LSTM2_DIM, dropout=0.2, kernel_regularizer = regularizers.l2(WD), return_sequences=True)),
    tf.keras.layers.Dense(DENSE1_DIM, activation='relu', kernel_regularizer = regularizers.l2(WD)), 
    tf.keras.layers.Dense(DENSE2_DIM, activation='relu'),    
    tf.keras.layers.Dense(7, activation='softmax')
])

# Set the training parameters
model_lstm.compile(loss='categorical_crossentropy',
                   optimizer=tf.keras.optimizers.Adam(), 
                   metrics = [tfa.metrics.F1Score(average="macro", threshold=None,num_classes=7, name='f1_score', dtype=None)])

训练时触发错误：

ValueError: Shapes (None, 1) and (None, 384, 7) are incompatible.

错误原因解析 #

1. Shapes(None,1)的来源 #

你的y_train是一维整数数组（形状(171812,)），Keras在训练时会自动把它包装成二维张量，形状变为(None,1)——其中None代表批量大小，1是每个样本的标签维度（单个整数）。

2. 模型输出形状不匹配的原因 #

模型里最后一个Bidirectional(LSTM)设置了return_sequences=True，这会让LSTM返回每个时间步的输出（共384个时间步，对应输入序列长度），后续的全连接层也会对每个时间步输出7类概率，最终模型输出形状是(None,384,7)。而我们需要的是对整个输入序列输出一个7类分类结果，两者形状完全不匹配，因此报错。

修正步骤 #

步骤1：修改模型结构，调整LSTM的return_sequences参数 #

把最后一个LSTM层的return_sequences=True改成False，这样LSTM会输出整个序列的汇总特征，而非每个时间步的输出：

model_lstm = tf.keras.Sequential([
    tf.keras.layers.Embedding(input_dim, output_dim, input_length=max_length),
    # 第一个LSTM保留return_sequences=True，给下一层传递序列信息
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(LSTM1_DIM, dropout=0.2, kernel_regularizer = regularizers.l2(WD), return_sequences=True)), 
    # 最后一个LSTM设置return_sequences=False，输出全局特征
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(LSTM2_DIM, dropout=0.2, kernel_regularizer = regularizers.l2(WD), return_sequences=False)),
    tf.keras.layers.Dense(DENSE1_DIM, activation='relu', kernel_regularizer = regularizers.l2(WD)), 
    tf.keras.layers.Dense(DENSE2_DIM, activation='relu'),    
    tf.keras.layers.Dense(7, activation='softmax')
])

修改后模型输出形状会变成(None,7)，和标签的预期形状匹配。

步骤2：规范标签格式（可选但推荐） #

因为你用的是categorical_crossentropy损失函数，官方推荐将标签转换为独热编码格式，这样标签形状会变成(None,7)，和模型输出完全对齐：

from tensorflow.keras.utils import to_categorical

y_train_onehot = to_categorical(y_train, num_classes=7)
y_test_onehot = to_categorical(y_test, num_classes=7)

# 训练时传入独热编码后的标签
history = model_lstm.fit(X_train, y_train_onehot,
          epochs=12,
          validation_data=(X_test, y_test_onehot),
          batch_size=250)

如果不想转独热编码，也可以把损失函数换成sparse_categorical_crossentropy，它支持直接输入整数标签，不用修改标签格式，只需要改模型编译部分：

model_lstm.compile(loss='sparse_categorical_crossentropy',
                   optimizer=tf.keras.optimizers.Adam(), 
                   metrics = [tfa.metrics.F1Score(average="macro", threshold=None,num_classes=7, name='f1_score', dtype=None)])

内容的提问来源于stack exchange，提问作者Bluetail