构建简易聊天机器人模型时Embedding层标签值越界问题求解

错误根源 #

你遇到的错误核心是模型输出的类别维度与标签的索引范围不匹配：

• 当前模型仅保留了Embedding层，输出形状为(None, 1307, 128)，最后一维的128是Embedding的特征维度，而非任务需要的token类别数。
• 你使用的sparse_categorical_crossentropy损失函数，会默认将输出的最后一维当作类别总数，认为标签索引应落在[0, 128)范围内，但你的y_train中存在83193这类远超出该范围的token索引，因此触发报错。
• 同时，你的模型结构不完整：聊天机器人属于序列到序列任务，需要循环层处理序列信息，最后通过全连接层输出每个位置的token概率分布。

具体修复步骤 #

1. 恢复并修正完整模型结构 #

将注释的LSTM和Dense层恢复，且给LSTM添加return_sequences=True参数（确保输出每个时间步的结果，与y_train的序列长度匹配）：

model = Sequential([
    Embedding(total_tokens, 128, input_length=max_seq_length),
    Bidirectional(LSTM(150, return_sequences=True)),  # 必须添加return_sequences=True
    Dense(total_tokens, activation='softmax')  # 输出维度等于语料库总token数
])
model.summary()

2. 确认损失函数适配 #

sparse_categorical_crossentropy完全适配你的y_train格式（每个位置为token的整数索引），只要最后一层Dense的units参数等于total_tokens，该损失函数即可正常工作，无需修改。

3. 验证关键参数一致性 #

• 确保total_tokens是语料库中所有不同token的总数（需包含<PAD>、<START>等特殊token），保证Dense层的输出维度能覆盖所有可能的token索引。
• 确认max_seq_length确实为1307，与X_train、y_train的序列长度保持一致。

补充说明 #

序列到序列任务中，输入为问题序列，输出为回答序列，每个时间步的输出对应回答序列的一个token。添加return_sequences=True后，LSTM会输出每个时间步的隐藏状态，后续的Dense层就能为每个位置生成对应的token概率分布，与y_train的形状完全匹配。

内容的提问来源于stack exchange，提问作者Gabriel Fernando