为何Gensim Word2Vec与TensorFlow Embedding Projector余弦距离结果不一致？

可能的差异来源 #

• 向量导出时的精度或格式损失：Gensim的word2vec2tensor脚本在将向量导出为TSV格式时，可能存在浮点数精度截断（比如将float32转为更低精度格式），或导出过程中对向量做了隐式缩放，导致Projector加载的向量与Gensim模型内存中的原始向量存在细微差异，最终影响相似度排序。
• 词表匹配不一致：导出的词表（metadata.tsv）可能与Gensim模型的词表不完全同步——比如导出时过滤了低频词，或词表顺序错位，导致Projector中某个词对应的向量并非模型中该词的原始向量。
• 相似度计算的细节差异：
  • Gensim的most_similar默认会排除查询词本身，而Embedding Projector的“原始空间最近点”可能默认包含查询词（显示的第一个结果是词本身），后续相似词排序因此看似错位。
  • 当多个词的相似度数值接近时，不同工具的浮点数计算精度差异，会导致排序结果颠倒。
• 内存与磁盘加载的向量差异：如果Projector加载向量时自动做了归一化预处理，而Gensim的most_similar基于原始未归一化向量计算（内部会先做L2归一化再算余弦相似度，但模型本身归一化状态可能不同），两者的计算基础就会出现偏差。

验证步骤 #

1. 核对向量一致性：从Gensim模型中提取economia的向量，再从导出的TSV文件中找到对应向量，计算两者的欧氏距离，确认是否完全一致。
2. 检查词表完整性：对比Gensim模型的wv.index_to_key列表与导出的metadata.tsv内容，确认所有词都存在且顺序一致。
3. 手动计算相似度：选取most_similar结果中的前几个词，手动计算它们与economia的余弦相似度，再与Projector显示的数值对比，定位差异来源。
4. 确认查询词排除逻辑：查看Embedding Projector的设置，确认是否开启了“排除查询词”的选项，若未开启，其结果列表的第一个元素会是词本身，后续排序需与most_similar的结果错位一位对比。

内容的提问来源于stack exchange，提问作者omarliabuda