TensorFlow2.9下LSTM命名实体识别模型维度不兼容问题求助

问题根源 #

你的模型结构错误导致输出维度和标签不匹配：命名实体抽取是序列标注任务，需要为输入序列的每个时间步（共50个）输出对应标签，但第二个Bidirectional(LSTM)没有设置return_sequences=True，直接把整个序列压缩成了一个64维向量，最终输出形状为(None,11)，而标签是长度为50的序列，维度完全不匹配。

修正后的模型结构 #

修改第二个双向LSTM层，添加return_sequences=True，确保每个时间步都输出特征：

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(num_words, 50, input_length=50),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64, return_sequences=True)),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32, return_sequences=True)),  # 关键修改：添加return_sequences=True
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(num_tags, activation='softmax')
])

修改后模型的输出形状为(None,50,11)，和你的标签序列长度（50）、标签类别数（11）完全匹配。

损失函数选择 #

根据标签的格式选择对应损失函数：

• 若标签是整数索引形式（如你提供的[7,7,7,...]），使用sparse_categorical_crossentropy，此时标签形状为(None,50)，模型输出(None,50,11)，维度兼容。
• 若标签是One-Hot编码形式（形状为(None,50,11)），使用categorical_crossentropy。

错误原因解释 #

1. 使用categorical_crossentropy报错：模型输出是(None,11)，而标签是(None,50)，两个形状的第二维度分别为11和50，无法匹配计算损失。
2. 使用sparse_categorical_crossentropy报错：模型输出是[13,11]（13是batch size，11是标签类别数），但标签被展平为[650]（13*50），logits的第一维度（13）和labels的第一维度（650）不一致，因为模型没有返回序列，只输出了每个样本的单个向量，而非每个时间步的向量。

内容的提问来源于stack exchange，提问作者satish