TensorFlow Seq2Seq模型训练时LSTM层输入维度不兼容错误排查

嘿，我一眼就瞅出问题所在了——你给Embedding层喂错数据格式啦！咱们来拆解下这个报错的根源：

错误原因分析 #

你当前的encoder_input_data是独热编码格式（形状(2000, 57, 7265)），但Keras的Embedding层根本不需要独热编码！它的设计初衷就是接收整数索引序列（比如每个位置用一个整数代表对应词汇在词表中的位置），然后自动把这些索引转换成低维密集向量。

你现在直接喂独热编码，会导致Embedding层的输出变成4维：(batch_size, seq_len, vocab_size, latent_dim)，而后面的LSTM层要求输入必须是3维（(batch_size, seq_len, feature_dim)），这就出现了报错里的「expected ndim=3, found ndim=4」问题。

具体解决方案 #

你需要先把独热编码的数据转换成整数索引序列，然后再喂给模型：

1. 转换输入数据格式 #

用np.argmax把独热编码转换成整数索引：

import numpy as np

# 处理编码器输入：从独热编码转成整数索引，形状变为(2000, 57)
encoder_input_indices = np.argmax(encoder_input_data, axis=-1)
# 处理解码器输入：同理，形状变为(2000, 87)
decoder_input_indices = np.argmax(decoder_input_data, axis=-1)

2. 调整模型训练代码 #

训练时喂转换后的整数索引数据就行，你的模型结构本身不需要修改（因为你定义的encoder_inputs = Input(shape=(None,))就是接收2维的整数序列）：

model.fit([encoder_input_indices, decoder_input_indices], decoder_target_data, 
          batch_size=batch_size, epochs=epochs, validation_split=0.2)

额外说明 #

• 为什么Embedding层不接受独热编码？因为独热编码本身是高维稀疏的，而Embedding层的作用就是把这种稀疏的索引转换成低维密集向量，直接喂独热编码相当于多做了一步无用功，还会导致维度不匹配。
• 你的decoder_target_data是独热编码是没问题的，因为最后一层Dense(num_decoder_tokens, activation='softmax')的输出正好对应独热编码格式的标签，损失函数用categorical_crossentropy也完全适配。

内容的提问来源于stack exchange，提问作者brainfuck best language