修改Keras bAbI记忆神经网络输出多词时遇形状匹配错误

这个错误的根源特别清晰：你的模型输出层的形状和训练目标的形状完全对不上了。原来的模型是为单词输出设计的，输出层会输出一个(样本数, 词汇表大小)的张量，对应单个词的概率分布；但你现在把训练目标改成了(样本数,3)的数组，Keras自然会提示形状不匹配。

下面是具体的修改方案，一步步来：

1. 调整输出层结构，适配3词输出 #

我们需要让模型输出一个(样本数, 3, 词汇表大小)的张量——每个样本对应3个位置，每个位置都是整个词汇表的概率分布。

假设你原来的输出层是这样的：

model.add(Dense(vocab_size, activation='softmax'))

现在把它替换成：

# 先映射到3*词汇表大小的维度
model.add(Dense(3 * vocab_size))
# 重塑成(3, 词汇表大小)的形状
model.add(Reshape((3, vocab_size)))
# 对每个位置应用softmax，确保每个位置的概率和为1
model.add(Activation('softmax'))

如果你的模型前面用了循环层（比如LSTM）并且设置了return_sequences=True，也可以用TimeDistributed来包装Dense层，效果是一样的：

# 假设前面的LSTM层输出形状是(样本数,3,隐藏层大小)
model.add(TimeDistributed(Dense(vocab_size, activation='softmax')))

2. 调整损失函数，匹配多词目标 #

因为你的answers_train是(样本数,3)的整数索引数组，我们可以用sparse_categorical_crossentropy作为损失函数——它专门处理目标是整数索引、输出是多分类概率分布的场景，而且支持多位置的序列目标。

编译模型的时候改成：

model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)

如果你的数据集里存在答案不足3个词的情况（也就是需要处理“最多3个词”的需求），记得先给短答案填充占位符（比如用0表示空词），这样模型会学习到哪些位置不需要输出有效词汇。

3. 可选：自定义序列准确率指标 #

默认的accuracy会计算每个词位置的单独准确率，但如果你想评估整个3词序列完全预测正确的比例，可以自定义一个指标：

import keras.backend as K

def full_sequence_accuracy(y_true, y_pred):
    # 对每个位置取概率最大的词索引
    y_pred_indices = K.argmax(y_pred, axis=-1)
    # 判断每个样本的3个位置是否都和目标一致
    all_correct = K.all(K.equal(y_true, y_pred_indices), axis=-1)
    # 返回整体的准确率
    return K.mean(all_correct)

# 编译时加上这个指标
model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy', full_sequence_accuracy]
)

这样修改后，模型的输出形状就和目标形状匹配了，训练时就不会再报那个形状不匹配的错误啦。

内容的提问来源于stack exchange，提问作者oonyalo