BERT Embedding余弦相似度结果异常，语义分类失效求助

你的操作本身没有语法错误，但结果表现差的核心原因是BERT的设计特性不适合孤立单词的语义相似度任务，具体问题和改进方案如下：

核心问题 #

• BERT是上下文依赖型模型：它的预训练目标是理解句子级语境，单独输入单个单词时，模型没有足够的上下文信息来区分语义（比如"cat"作为动物的属性无法被有效激活），导致生成的嵌入语义区分度极低。
• 孤立单词的嵌入缺乏约束：仅输入单个单词时，BERT生成的嵌入更偏向捕捉单词的表层特征（如字符结构、高频共现关联），而非深层语义类别，因此会出现"cat"和"banana"相似度更高的反常结果。

改进方案 #

1. 给单词添加上下文语境 #

给每个单词补充符合其类别的句子语境，让BERT能基于语境生成准确的语义嵌入。修改后的gen_embedding示例：

def gen_embedding(word):
    # 根据单词类别补充对应语境
    if word in ['cat', 'seagull']:
        sentence = f"{word} is an animal"
    else:
        sentence = f"{word} is a fruit"
    encoding = tokenizer(sentence, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**encoding)
    # 取[CLS] token作为带语境的语义嵌入
    cls_embedding = outputs.last_hidden_state.squeeze()[0]
    return cls_embedding

补充语境后，BERT能明确感知单词的语义类别，生成的嵌入会呈现明显的类内聚集、类间区分效果。

2. 使用静态词嵌入模型 #

如果你的场景仅需处理孤立单词的语义相似度，Word2Vec、GloVe、FastText这类静态词嵌入模型更适配。它们针对单个单词预训练，天生擅长捕捉孤立单词的语义关联，比如"cat"与"seagull"的相似度会远高于与"banana"的相似度。

3. 使用Sentence-BERT（SBERT） #

SBERT是专为语义相似度任务优化的BERT变体，预训练阶段加入了语义匹配任务，即使处理单个单词，生成的嵌入也能更好反映语义关系。使用示例：

from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

model = SentenceTransformer('all-MiniLM-L6-v2')
words = ['cat', 'seagull', 'mango', 'banana']
embs = model.encode(words)
print(cosine_similarity(embs))

该方案输出会符合预期：动物之间、水果之间的相似度更高。

4. 融合BERT多层隐藏状态 #

原生BERT的多层隐藏状态包含不同层次的语义信息，可尝试融合最后4层隐藏状态生成嵌入，比仅用最后一层能捕捉更丰富的语义：

def gen_embedding(word):
    encoding = tokenizer(word, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**encoding)
    # 取最后4层隐藏状态并平均融合
    hidden_states = outputs.hidden_states[-4:]
    token_embeddings = torch.stack(hidden_states, dim=0).mean(dim=0).squeeze()
    token_embeddings = token_embeddings[1:-1]
    word_embedding = token_embeddings.mean(dim=0)
    return word_embedding

不过该方法的提升幅度远不如添加上下文或使用SBERT。

内容的提问来源于stack exchange，提问作者mihovg93