You need to enable JavaScript to run this app. 同语料异参数双Doc2Vec模型拼接后词相似度计算与KeyedVector重建问题
优惠活动
大模型
产品
解决方案
定价
更多

同语料异参数双Doc2Vec模型拼接后词相似度计算与KeyedVector重建问题

多Doc2Vec模型向量拼接后支持相似度计算的实现方案

完全不需要修改gensim的KeyedVectors源码,大量开发者踩坑都是因为对KeyedVectors的内部运行逻辑不熟悉,才绕了Translation Matrix的弯路。

现有实现失效的核心原因

  • 直接复用vocab_concatenated = vocab1本质是给model1的KeyedVectors实例加了个别名,没有创建独立的新实例。后续直接往字典里塞拼接向量的操作,根本不会更新KeyedVectors内部维护的向量矩阵、词汇到行号的索引映射等核心属性,most_similar()方法运行时始终读取原模型的旧向量,完全识别不到写入的拼接值。
  • 之前调用add_vectors()失败,是因为传参不符合接口要求:该方法要求第二个参数必须是与词汇列表逐行对齐的二维numpy数组,不能直接把字典逐次取值的结果当列表传进去,顺序不对、维度不匹配都会直接报错或者输出错乱的结果。
  • 逐行遍历取vectors[i]的逻辑,只有当两个模型的词汇顺序完全一致时才成立,如果训练时的随机种子、内部处理流程有细微差异,就会出现词汇和向量错位的问题,最终拼接出来的向量完全没有语义意义。

可直接运行的零源码修改实现流程

整个流程完全基于gensim原生接口,完成后可直接调用most_similar()计算Top-N相似结果:

  1. 先做词汇表对齐校验,从根源避免向量错位
    • 对比两个模型的index_to_key列表是否完全相等,如果一致就可以直接复用原有向量矩阵,不需要逐词查询;如果不一致,就按公共词汇列表逐词匹配两个模型对应的向量。
  2. 按对齐顺序拼接两个模型的向量矩阵,注意拼接维度是沿特征轴(第1维)拼接,不要按行拼接。
  3. 初始化全新的空KeyedVectors实例,指定向量维度为拼接后的总维度,绝对不能复用旧模型的实例。
  4. 调用官方add_vectors接口,按一一对应的顺序传入公共词汇列表、拼接完成的二维向量矩阵。

对应可复用的代码参考:

from gensim.models import KeyedVectors
import numpy as np

# 1. 词汇表对齐校验与匹配
if model1.wv.index_to_key == model2.wv.index_to_key:
    # 顺序完全一致时直接复用内存中的向量矩阵,效率最高
    common_vocab = model1.wv.index_to_key
    vec1 = model1.wv.vectors
    vec2 = model2.wv.vectors
else:
    # 顺序不一致时,提取两个模型共有的词汇,逐词匹配对应向量
    common_vocab = [word for word in model1.wv.index_to_key if word in model2.wv]
    vec1 = np.array([model1.wv[word] for word in common_vocab])
    vec2 = np.array([model2.wv[word] for word in common_vocab])

# 2. 沿特征维度拼接向量
concat_vec_matrix = np.concatenate([vec1, vec2], axis=1)

# 3. 初始化全新的空KeyedVectors实例
new_kv = KeyedVectors(vector_size=concat_vec_matrix.shape[1])

# 4. 正确写入词汇与对应向量
new_kv.add_vectors(keys=common_vocab, weights=concat_vec_matrix)

完成上述步骤后,直接调用new_kv.most_similar(positive="测试词", topn=10)即可正常返回Top-N相似词结果。

关于Translation Matrix方案的说明

之前尝试的Translation Matrix方法,本质是用来训练线性映射矩阵、把不同向量空间的坐标对齐到同一空间的工具,并不是用来做向量拼接的。它会把第二个模型的向量投影压缩到和第一个模型向量同维度的空间,会丢失大量维度信息,这也是只拿到5个特征值的原因,完全不符合拼接向量保留全维度信息的需求。

关于“拼接未必能提升模型性能”的提示是符合实际情况的:如果两个模型学到的语义信息高度冗余,拼接后的高维向量不但不会提升相似度计算的精度,还会因为维度飙升增加计算开销、引入噪声维度。通常拼接完成后可以配合PCA将向量降维到合理区间,再做后续的相似度计算。


内容的提问来源于stack exchange,提问作者Marta

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 22:45:02