Gensim Word2Vec模型余弦相似度全正偏高原因及原理学习资源咨询

一、相似度偏高的原因与解决建议 #

可能原因 #

• 最小词频设置过低：min_count=1保留了大量仅出现1次的低频词，这类词没有足够的上下文样本让模型学习到独特的语义表示，容易和其他同频或上下文重叠的词（比如同音字）被模型归为相似向量。
• CBOW模型特性限制：连续词袋模型的目标是通过上下文预测中心词，更偏向于聚合语境信息，对语义细微差异（如同音字的不同含义）的区分能力弱于Skip-gram，尤其是在语料规模不足时。
• 语料上下文重叠度高：如果同音字在语料中频繁出现在相似语境（比如“晴”和“情”都常和“天”“心”搭配），或者同频词的上下文分布高度相似，根据Word2Vec“上下文相似则向量相似”的核心假设，高相似度是模型的自然输出；若你认为这种相似度是“异常”的，大概率是语料多样性不足导致的。

解决建议 #

• 调高min_count参数：建议设置为5-10，过滤掉无足够训练样本的低频词，让模型聚焦于有稳定上下文分布的词，提升向量的区分度。
• 切换为Skip-gram模型：Skip-gram通过中心词预测上下文，更擅长捕捉罕见词的独特语义，对同音字、同频词的区分效果通常优于CBOW。
• 扩大语料规模：增加语料的多样性和总量，让不同词的上下文分布差异更显著，帮助模型学习到更精准的语义表示。
• 调整向量维度：若语料规模较小，300维可能导致过拟合，可尝试100-200维，平衡模型容量和泛化能力。

二、词嵌入生成原理学习资源 #

• 经典论文：
  • 《Efficient Estimation of Word Representations in Vector Space》：Word2Vec的基础论文，详细阐述CBOW和Skip-gram的核心架构与训练逻辑。
  • 《Distributed Representations of Words and Phrases and their Compositionality》：进一步扩展Word2Vec的内容，包含负采样、短语嵌入等优化方法。
• 书籍：
  • 《深度学习》（Ian Goodfellow等著）：其中“词嵌入”章节系统讲解分布式假设、Word2Vec等词嵌入模型的原理。
  • 《自然语言处理入门》（何晗著）：结合实际代码实现，深入浅出地讲解Word2Vec的训练流程与细节。
• 课程内容：
  • 斯坦福CS224N《自然语言处理与深度学习》课程中的词嵌入模块：从分布式假设出发，逐步讲解Word2Vec的损失函数（层次softmax、负采样）、训练过程等核心内容。

内容的提问来源于stack exchange，提问作者Sophie Wu