如何将现有自定义词嵌入表导入gensim使用其内置函数

完全可以，不需要训练或加载gensim原生模型，直接使用gensim的KeyedVectors模块即可导入自定义词嵌入，所有most_similar()类的内置分析功能都能直接调用，不需要自行实现对应逻辑。

具体操作方法 #

你手里现有的{词语: 嵌入向量}字典可以直接批量导入，步骤如下：

1. 导入依赖，初始化KeyedVectors实例，实例化时只需要传入你的嵌入向量维度即可
2. 拆分字典为独立的词列表、向量数组，批量加载到实例中

参考代码：

from gensim.models import KeyedVectors
import numpy as np

# 替换成你自己的词嵌入字典，格式要求：键为字符串类型的词语，值为固定长度的numpy数组
custom_embedding_dict = {"苹果": np.array([0.12, 0.34, ...]), "香蕉": np.array([0.56, 0.78, ...])}

# 自动获取向量维度，无需手动填写
embedding_dim = len(next(iter(custom_embedding_dict.values())))
# 初始化词向量容器
kv = KeyedVectors(vector_size=embedding_dim)

# 拆分词和向量
word_list = list(custom_embedding_dict.keys())
vector_array = np.array(list(custom_embedding_dict.values()))

# 批量导入自定义向量
kv.add_vectors(word_list, vector_array)

加载后可直接使用的常用功能 #

导入完成后，你可以直接调用所有gensim内置的词向量分析方法，和原生gensim模型的model.wv接口完全一致：

• 查询TopN相似词：kv.most_similar("目标词", topn=10)
• 计算两个词语的余弦相似度：kv.similarity("词语1", "词语2")
• 识别词组中的离群词：kv.doesnt_match(["词语1", "词语2", "词语3", "无关词"])
• 词向量类比推理：kv.most_similar(positive=["国王", "女人"], negative=["男人"], topn=3)

实用提示 #

• 如果你的嵌入向量没有提前做L2归一化，可以在加载后执行kv.init_sims(replace=True)预计算归一化向量，能大幅提升后续相似度查询的速度
• 加载完成的词向量对象可以直接用kv.save("your_custom_embedding.kv")存为本地文件，后续使用时直接用KeyedVectors.load("your_custom_embedding.kv")读取即可，不需要每次重新从字典导入
• 请保证所有传入的向量维度一致，否则会触发加载报错

内容的提问来源于stack exchange，提问作者Vyralator