size(embedding_model)的含义是什么?嵌入模型参数释义
关于Gensim嵌入模型长度返回值的说明
- 执行
len(embedding_model)得到的400000,确实对应该模型词表内不同token的总数量。Gensim的词向量对象(KeyedVectors)的长度计算逻辑就是直接返回词表条目数,glove-wiki-gigaword-50本身就是筛选了40万高频词构建的预训练模型,和输出结果匹配。 - 模型名称后缀的50不是指每个token占50字节,这个数字代表每个token对应的嵌入向量维度为50:即每个词会被映射为长度为50的浮点数向量。如果按单精度浮点数计算,单条词向量的实际存储空间为200字节,和50字节的表述完全不符。
你可以用如下代码自行验证向量维度的逻辑:
# 提取单个词的嵌入向量查看长度 word_vec = embedding_model['test'] print(len(word_vec))
运行上述代码会输出50,这个返回值就是向量的维度数,和字节单位没有关系。
内容的提问来源于stack exchange,提问作者user3668129
相关产品推荐
相关产品推荐

