自建CBOW模型出现mat1和mat2形状无法相乘的RuntimeError如何解决？

算力阿峰

2026-9-29

错误原因

这是典型的全连接层输入维度和预期不匹配导致的矩阵乘法错误：

你定义的第一层全连接层self.linear = nn.Linear(embedding_dimensions,128)，期待输入的最后一维等于embedding_dimensions（从报错看你设置的该参数为500），该层权重形状为500x128
你在forward中对上下文embedding的处理逻辑错误：假设你的上下文窗口大小为4，输入到embedding层的上下文向量形状为[4]，经过embedding层后得到[4, 500]的张量，你调用.view(1,-1)后将其摊平为[1, 2000]的张量，这就是报错里的1x2000矩阵
矩阵乘法要求前一个矩阵的列数等于后一个矩阵的行数，2000和500无法匹配，因此触发报错。
另外你的代码还有一个隐性bug：get_word_embeds方法中调用的self.embeddings不存在，你定义的embedding层变量名为self.embeds，后续运行也会触发属性不存在错误。

解决方法

修改forward方法中embedding的聚合逻辑，CBOW要求将上下文多个词的embedding按维度相加（或取平均），得到单个和词向量维度一致的张量作为全连接层输入，修改后的代码如下：

import torch
import torch.nn as nn

class CBOW(torch.nn.Module):
    def __init__(self,vocab_size,embedding_dimensions):
        super().__init__()
        self.embeds= nn.Embedding(vocab_size,embedding_dimensions)
        self.linear = nn.Linear(embedding_dimensions,128)
        self.activation_unit = nn.ReLU()
        self.linear_2= nn.Linear(128,100)
        self.linear_3 = nn.Linear(100,vocab_size)
        self.activation_2 = nn.LogSoftmax(dim=-1)
    def forward(self,inputs):
        # 输入inputs形状为 [上下文窗口大小]，比如4
        embeds = self.embeds(inputs) # 输出形状为 [窗口大小, embedding_dimensions]
        # 对上下文维度（第0维）求和，得到形状为 [embedding_dimensions] 的张量
        embeds = torch.sum(embeds, dim=0)
        out = self.linear(embeds)
        out = self.activation_unit(out)
        out = self.linear_2(out)
        out = self.linear_3(out)
        out = self.activation_2(out)
        return out
    def get_word_embeds(self,word):
        word = torch.tensor(word_to_num[word])
        # 修正embedding层调用的变量名
        return self.embeds(word).view(1,-1)