自定义SpaCy Doc.similarity优化信息检索工具的技术咨询

问题场景 #

我正在构建一款信息检索工具，接收用户请求后返回语料库中最相似的标签。但使用SpaCy原生相似度功能时，出现了不符合预期的结果：

request = nlp("cute cat")

label1 = nlp("cute dog")
label2 = nlp("lovable cat")

print(request.similarity(label1))
print(request.similarity(label2))

# 返回结果
# 0.9046133562567831
# 0.8776915657921017

按照需求，我期望核心名词为cat的label2拥有更高相似度（因为请求围绕“可爱的猫”展开）；同时像ugly cat这类标签的得分应该低于cute dog。

我考虑重写SpaCy的Doc.similarity方法，将其改为名词相似度（高权重）与形容词相似度的加权和，想请教这个方案是否可行？有没有更优的方法或工具？

另外，标签结构可能更复杂，比如cute dog in a garden这类标签，其中dog是核心名词，garden是次要名词，我计划通过依存句法分析来处理这类情况，是否合理？

解决方案与建议 #

重写Doc.similarity方案的可行性 #

这个方案完全可行，但需要注意几个细节：

• 精准筛选词性：要准确提取名词（尤其是核心名词）和形容词，避免将其他词性（如副词、介词）混入计算，可通过token.pos_判断（比如NOUN/PROPN对应名词，ADJ对应形容词）
• 灵活调整权重：根据实际业务场景分配权重，比如给核心名词相似度设0.7的权重，形容词相似度设0.3，或者根据标签的语义重要性动态调整比例
• 空值容错处理：如果某个文本没有名词或形容词，要避免报错，比如默认该部分得分为0，或者直接跳过该部分的加权计算

更优的替代方法 #

不用重写整个Doc.similarity方法，还有更直接的思路：

• 聚焦核心成分计算相似度：提取每个文本的核心语义单元（比如核心名词+修饰它的形容词），只计算这些单元的向量相似度，完全避开无关成分的干扰
• 使用Span相似度：把核心名词及其修饰语提取为SpaCy的Span对象，直接计算Span之间的相似度，比整个Doc的相似度更贴合核心需求
• 自定义加权词向量：遍历Doc中的每个token，给核心名词的词向量乘以更高的权重系数，其他token乘以较低系数，再平均得到自定义的Doc向量，再用这个向量计算相似度

复杂标签的处理建议 #

用依存句法分析定位核心名词的思路非常靠谱，补充几个实践细节：

• 通过ROOT节点定位核心：在依存句法树中，token.dep_ == "ROOT"且token.pos_为名词的节点就是核心名词，比如cute dog in a garden中，dog是ROOT节点，就是核心
• 结合名词短语提取：用SpaCy的noun_chunks提取完整的名词短语，再判断哪个短语与ROOT节点关联，这样能更准确捕捉带修饰语的核心语义
• 多核心场景处理：如果标签中有并列核心名词（比如cat and dog），可以分别计算每个核心与请求核心的相似度，再取平均或加权和

内容的提问来源于stack exchange，提问作者JulienBr