GloVe向量编码长度异常咨询：glove.840B.300d.zip是否存在漏洞？

你遇到的情况其实是GloVe预训练模型的设计特性——它的词表中包含了一些带空格的多词短语（比如人名、地名、固定搭配等），这些短语会被当作一个完整的语义单元来训练向量。

举个例子，那行内容大概率是类似 John Smith 0.123 0.456 ... 这样的结构：前两个词是一个人名，后面跟着300维的向量。当你用split()分割时，就会得到2+300=302个元素；如果是三个词组成的短语，就会是3+300=303个元素，正好对应你看到的结果。

要正确解析这类行，你需要调整读取逻辑：把除了最后300个元素之外的所有部分合并成一个词，剩下的300个元素就是对应的向量。修改后的代码示例如下：

path = '../path_to_glove/file.txt'
glove_dict = {}

with open(path, 'r', encoding="utf-8") as read_file:
    for i, line in enumerate(read_file):
        parts = line.strip().split()
        # 合并前n个部分作为完整的词/短语
        word = ' '.join(parts[:-300])
        # 提取后300个元素转为向量
        vector = list(map(float, parts[-300:]))
        glove_dict[word] = vector

这种多词单元的存在是为了让GloVe更好地捕捉真实语言中的语义信息，比如“New York”作为一个城市名的语义，比单独的“New”和“York”更有价值，所以这是官方刻意设计的，不是漏洞哦。

内容的提问来源于stack exchange，提问作者user1700890