如何实现两个单词的相似度检测？含Detectron2与NLP应用场景需求

针对你的场景（处理Detectron2识别类别和验证环节的单词差异，包括单复数变体和语义相似名词），可以分两步解决问题，直接返回布尔值，不用纠结通用阈值：

1. 先处理单复数/词形变体（如bus ↔ buses） #

这类问题本质是同一个单词的不同形态，用词形还原（Lemmatization）将两个词转化为原形后直接比较即可，准确率极高。

基于NLTK的实现代码 #

import nltk
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet

# 首次运行需下载依赖资源
# nltk.download('wordnet')
# nltk.download('averaged_perceptron_tagger')
# nltk.download('omw-1.4')

lemmatizer = WordNetLemmatizer()

def get_wordnet_pos(word):
    # 获取单词词性，提升词形还原准确性
    tag = nltk.pos_tag([word])[0][1][0].upper()
    tag_map = {"J": wordnet.ADJ, "N": wordnet.NOUN, "V": wordnet.VERB, "R": wordnet.ADV}
    return tag_map.get(tag, wordnet.NOUN)

def lemmatize_word(word):
    return lemmatizer.lemmatize(word.lower(), get_wordnet_pos(word))

2. 处理语义相似名词（如bike ↔ motorcycle） #

这类属于不同单词但语义相近的情况，可以借助WordNet的同义词集（Synsets）判断是否共享核心语义（比如同属交通工具类别），比spaCy的通用相似度更贴合你的特定场景。

结合词形还原的完整匹配函数 #

def are_words_matching(word1, word2):
    # 统一转为小写消除大小写影响
    w1, w2 = word1.lower(), word2.lower()
    
    # 第一步：检查词形还原后是否一致（处理单复数/变体）
    lemma1 = lemmatize_word(w1)
    lemma2 = lemmatize_word(w2)
    if lemma1 == lemma2:
        return True
    
    # 第二步：检查语义是否相近（仅针对名词，适配你的物体识别场景）
    synsets1 = wordnet.synsets(w1, pos=wordnet.NOUN)
    synsets2 = wordnet.synsets(w2, pos=wordnet.NOUN)
    
    if not synsets1 or not synsets2:
        return False
    
    # 检查是否存在共同上位词（表示同属一个大类）
    for syn1 in synsets1:
        for syn2 in synsets2:
            if syn1.lowest_common_hypernyms(syn2):
                return True
    return False

# 测试用例
print(are_words_matching("bus", "buses"))          # True
print(are_words_matching("bike", "motorcycle"))    # True
print(are_words_matching("car", "bicycle"))        # False（根据需求可调整）

可选：用spaCy做场景化阈值校准 #

如果你一定要用spaCy的相似度，不要用网上的通用阈值，而是用你的场景样本做校准：

1. 收集所有你认为应该匹配的词对（如bus/buses, bike/motorcycle）和不匹配的词对（如bus/bike）
2. 用spaCy计算每对的相似度值
3. 取正样本最低值和负样本最高值的中间值作为专属阈值，比如正样本相似度都≥0.6，负样本都≤0.3，就把阈值设为0.45

内容的提问来源于stack exchange，提问作者Frank van Paassen