如何从Gensim Word2Vec模型中导出所有词向量?
批量提取Gensim模型全量词条的词向量
使用KeyedVectors对象加载词向量文件时,传入单个单词即可直接获取对应的Word2Vec向量,单条查询的基础用法如下:
from gensim.models import KeyedVectors model = KeyedVectors.load('vectors.kv') model.get_vector('example') # 输出 => [0.12, 0.41, ..., 0.92]
我们需要实现的目标是:针对模型中存储的每一个词条(即模型词表内的所有键),批量完成向量提取操作。
注意:该操作不强制依赖
KeyedVectors对象,直接加载Word2Vec模型也可实现相同效果。
实现步骤
KeyedVectors对象内置了存储全量词条的索引列表index2word,遍历该列表逐个提取向量,即可构建全量的词向量映射表,还可以进一步转为Pandas DataFrame方便后续处理:
import pandas as pd vector_dct = {} for word in kv_model.index2word: vector_dct[word] = kv_model.get_vector(word) # 转置后每行对应一个词条的完整向量,每列对应向量的一个维度值 df = pd.DataFrame(vector_dct).T
内容的提问来源于stack exchange,提问作者Ian
相关产品推荐
相关产品推荐

