使用DeepLearning4J构建段落向量时余弦相似度恒为1.0的问题

我之前在使用DL4J构建段落向量时也碰到过一模一样的问题——余弦相似度一直返回1.0，本质上这说明模型输出的所有向量都完全相同，咱们可以从以下几个方向逐一排查：

1. 模型打包与加载是否完整正确 #

DL4J的ParagraphVector依赖多个组件才能正常工作，打包ZIP时如果遗漏关键文件，加载后的模型会生成无效向量：

• 确认ZIP包中包含vocab缓存文件、模型权重文件和标签映射文件，这三个是模型推理的核心依赖；
• 加载模型时要确保重新关联TokenizerFactory和VocabCache（部分场景下打包不会自动保存这些组件），示例代码如下：

  // 加载打包好的模型
  File modelZip = new File("your/model/path.zip");
  ParagraphVector paragraphVector = ParagraphVector.load(modelZip);
  
  // 重新关联训练时使用的TokenizerFactory和VocabCache
  paragraphVector.setTokenizerFactory(tokenizerFactory);
  paragraphVector.setVocabCache(abstractCache);
  

2. 推理文本处理逻辑与训练时保持一致 #

训练和推理阶段的文本预处理必须完全对齐，否则模型无法生成有效向量：

• 检查TokenizerFactory的配置：训练时如果设置了tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor())（比如小写化、去除标点），推理时必须完全复用相同的预处理逻辑；
• 验证输入文本的有效性：如果推理时传入的是空字符串、或者所有输入都被预处理成了空内容，模型会返回默认的零向量（或相同的初始化向量），此时余弦相似度自然为1.0。

3. 训练阶段的模型有效性排查 #

如果训练本身就没学到有效特征，推理结果肯定异常：

• 检查训练数据量：如果训练样本过少（比如只有几条数据），模型无法学习到段落间的差异，所有向量会收敛到同一个值；
• 验证训练参数：比如minWordFrequency设置过高导致词汇表为空，或者layerSize（向量维度）设置过小，都可能让模型失去区分度；
• 确认训练轮数：训练轮数不足时，模型还未收敛到有效特征空间，也会出现向量同质化的情况。

4. 余弦相似度计算逻辑验证 #

最后排查计算代码是否存在错误：

• 确保使用DL4J自带的CosineSimilarity类计算，避免手动实现时的模长计算错误：

  INDArray vecA = paragraphVector.getVector("targetLine");
  INDArray vecB = paragraphVector.getVector("compareLine");
  double similarity = CosineSimilarity.cosineSimilarity(vecA, vecB);
  

• 检查getVector()传入的参数是否正确：比如是否误将同一个段落的向量拿来比较，或者行号/标签映射错误导致获取到相同的向量。

内容的提问来源于stack exchange，提问作者Razor