Keras维度错误求助：实现Word2Vec模型时遇维度不匹配ValueError

这个错误的核心原因很明确：你的模型最后输出的dense-softmax层是3维张量，但你的训练目标train_y是2维数组（形状(32,14)），两者维度不兼容导致报错。

为什么会出现这个问题？ #

从你给出的代码片段和数据形状来看，问题出在Embedding层之后的处理环节：

• 你的输入train_x是形状为(32,14)的one-hot数组，传入Embedding层后，输出会变成(32,14, embed_dim)的3维张量（embed_dim是你设置的嵌入维度）。
• 如果你直接在这个3维张量后面接Dense(vocab_size, activation='softmax')，输出会变成(32,14,14)的3维结果——这就是错误提示里说的“期望3维度，但得到(32,14)”的反向情况（实际是模型输出3维，目标是2维）。

修正方案 #

你需要在Embedding层之后，把3维张量转换成2维，再接入输出的Dense层。这里提供两种常见的修正方式：

方案1：针对当前one-hot输入的修正

如果坚持用one-hot数组作为输入，添加Flatten层把3维张量扁平化：

from tensorflow.keras.layers import Input, Embedding, Dense, Flatten
from tensorflow.keras.models import Model

vocab_size = 14
# 注意：one-hot输入是浮点型，把dtype改成float32更合理
input_layer = Input(shape=(vocab_size, ), dtype='float32', name='input')
embeddings = Embedding(input_dim=vocab_size, output_dim=50)(input_layer)  # 输出(None,14,50)
flatten_layer = Flatten()(embeddings)  # 转换成(None, 14*50=700)的2维张量
output_layer = Dense(vocab_size, activation='softmax')(flatten_layer)  # 输出(None,14)，和train_y匹配

model = Model(inputs=input_layer, outputs=output_layer)
model.compile(optimizer='adam', loss='categorical_crossentropy')

方案2：更高效的Word2Vec输入方式（推荐）

Word2Vec的CBOW/Skip-Gram模型通常用词索引作为输入，而不是one-hot数组（能大幅节省内存和计算资源）。比如用2个上下文词预测中心词，代码可以改成这样：

from tensorflow.keras.layers import Input, Embedding, Dense, GlobalAveragePooling1D
from tensorflow.keras.models import Model

vocab_size = 14
context_length = 2  # 假设用2个上下文词预测中心词

# 输入是形状(32,2)的索引数组，每个元素是0~13的词索引
input_layer = Input(shape=(context_length, ), dtype='int32', name='input')
embeddings = Embedding(input_dim=vocab_size, output_dim=50)(input_layer)  # 输出(None,2,50)
# CBOW模型对上下文词的嵌入取平均，得到单个特征向量
avg_pool = GlobalAveragePooling1D()(embeddings)  # 输出(None,50)
output_layer = Dense(vocab_size, activation='softmax')(avg_pool)  # 输出(None,14)

model = Model(inputs=input_layer, outputs=output_layer)
model.compile(optimizer='adam', loss='categorical_crossentropy')

额外提示 #

• 如果你的任务是Skip-Gram（用中心词预测上下文），只需要调整输入输出的对应关系，核心的维度匹配逻辑是一样的：确保模型最终输出是(样本数, vocab_size)的2维张量，和train_y的形状一致。

内容的提问来源于stack exchange，提问作者JDOE