基于GloVe与Gensim获取'frog'近邻结果与斯坦福官网不符的原因咨询

以下是几个关键原因：

1. 向量是否归一化是核心差异 #

斯坦福官网展示的近邻结果，基本都是用L2归一化后的向量计算余弦相似度得到的。但Gensim加载原始GloVe向量时，默认不会对向量做归一化——原始GloVe向量的模长各不相同，直接用原始向量算余弦相似度，结果和归一化后的会差很多。

解决方法很简单，加载后先做归一化再算近邻：

import gensim

# 加载原始GloVe向量
new_model = gensim.models.keyedvectors.load_word2vec_format('./glove.6B/glove.6B.300d.txt', binary=False, no_header=True)
# 对所有向量做L2归一化，replace=True会直接覆盖原始向量节省内存
new_model.init_sims(replace=True)
# 再计算近邻
print(new_model.most_similar('frog'))

2. 相似度计算方式可能不同 #

Gensim的most_similar默认用余弦相似度，但斯坦福官网的示例说不定用的是点积当度量（向量归一化后，点积和余弦相似度是等价的，但原始向量下差得远）。如果要匹配点积逻辑，归一化后直接用默认的余弦计算就行，或者手动实现点积排序：

import numpy as np

frog_vec = new_model['frog'].reshape(1, -1)
# 计算所有向量和frog的点积
dot_products = np.dot(new_model.vectors, frog_vec.T).flatten()
# 降序排序，跳过自身（第一个是frog自己）
sorted_idx = np.argsort(-dot_products)[1:11]
neighbors = [(new_model.index_to_key[i], dot_products[i]) for i in sorted_idx]
print(neighbors)

3. 模型版本与训练细节的细微差别 #

斯坦福官网的示例可能用的是早期测试版的GloVe模型，你下载的公开版（glove.6B/42B/840B）虽然是官方发布，但训练数据的预处理、迭代次数、上下文窗口大小这些细节可能和示例用的模型略有不同，自然会导致近邻结果变化。

4. Gensim加载的兼容问题 #

Gensim的load_word2vec_format本来是给Word2Vec格式设计的，虽然兼容GloVe，但加载时可能有隐式的数据转换。如果是Gensim 4.x以上版本，可以试试专门的GloVe加载方式：

from gensim.models import KeyedVectors

new_model = KeyedVectors.load('./glove.6B/glove.6B.300d.txt', mmap='r')

内容的提问来源于stack exchange，提问作者fede