咨询spaCy句子相似度计算的实现原理与机制

嘿，我来把spaCy默认的句子相似度计算逻辑给你讲明白——官方文档确实有点绕，我给你拆解成两个核心场景：

• 有预训练词向量的模型（比如en_core_web_lg）
  默认采用向量平均算法：把句子中每个词的预训练词向量提取出来，做简单平均得到整个句子的向量表示，最后通过余弦相似度来衡量两个句子向量的相似程度。这种方式的核心是借助预训练好的语义信息，比如“dog”和“puppy”的向量本身就高度相似，所以计算出来的相似度更贴合语义层面的关联。

• 无预训练词向量的轻量模型（比如en_core_web_sm）
  这时候spaCy会调用模型里标注器、解析器、实体识别器共同输出的doc.tensor属性来生成句子向量。这个tensor本质是模型处理句子时提取的结构化特征编码——涵盖了词性标签、句法依赖关系、实体类型等语法层面的信息，所以基于它的相似度计算会更侧重句子的结构特征。举个例子，两个都是“主语+及物动词+宾语”的简单陈述句，哪怕语义完全不相关，相似度可能也会比语义接近但结构迥异的句子更高。

简单总结下：带全量预训练向量的模型更关注语义相似性，而轻量模型的相似度计算更偏向结构匹配度。

内容的提问来源于stack exchange，提问作者Minions