Gensim Doc2Vec在不同训练数据集下余弦相似度结果存在差异问题

是的，即便训练数据集包含完全相同的公共文档，Doc2Vec模型的输出结果也会随训练数据集的不同发生变化，你观察到的相似度差异属于正常现象。

• Doc2Vec的向量语义空间由全部训练语料的特征共同决定：模型训练时会基于所有语料的词汇共现、文档语义分布调整参数，最终输出的文档向量是在当前训练集的全局语义空间中的坐标。你新增的600条文档会改变整个语料的统计特征，原本的2400条文档的向量也会随之调整，对应相似度自然会和仅用2400条数据训练的结果有差异。
• 训练过程本身存在固有随机性：Doc2Vec的参数初始化、负采样、窗口滑动的随机选择环节都有随机因子，哪怕用完全相同的数据集训练两次，只要没有固定所有随机种子，两次得到的向量和相似度也会存在浮动，更换数据集的场景下差异会被进一步放大。

如果需要对比不同数据集里公共文档的相似度，不要分开训练多个模型，统一用完整数据集训练出的单个模型提取所有文档的向量再做计算即可，避免全局语义空间不一致带来的误差。

内容的提问来源于stack exchange，提问作者porororo