阈值设为0时字符串匹配函数仍无法匹配部分字符串的问题排查

问题原因 #

• 你的函数片段中，当计算numerators / denominators时，若两个字符串没有公共的N-gram（比如示例中的'J.S'和'jayanthsjay'，n=2时前者的二元组是'J.'、'.S'，后者全是字母组合，无交集），分子numerators会为0，最终相似度结果为0。而原代码的判断条件是similarities > threshold，当threshold设为0时，0 > 0不成立，这部分相似度会被强制置0，导致被判定为不匹配。
• 另外如果出现分母为0的极端情况（比如空字符串），会产生NaN值，同样无法通过>0的判断。

修改方案 #

要实现阈值0时全匹配，核心是调整判断逻辑，同时处理异常数值情况。以下是完整的修正后函数：

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

def match_strings(strings1, strings2, ngram_n=2, threshold=0):
    # 初始化N-gram向量生成器
    vectorizer = CountVectorizer(analyzer='char', ngram_range=(ngram_n, ngram_n))
    # 合并两个字符串列表生成词汇表
    combined_corpus = strings1 + strings2
    ngram_matrix = vectorizer.fit_transform(combined_corpus)
    
    # 拆分得到两个列表的N-gram矩阵
    matrix1 = ngram_matrix[:len(strings1)]
    matrix2 = ngram_matrix[len(strings1):]
    
    # 计算余弦相似度的分子（交集权重和）与分母（模长乘积）
    numerators = matrix1.dot(matrix2.T).toarray()
    norm1 = np.sqrt((matrix1 ** 2).sum(axis=1))[:, np.newaxis]
    norm2 = np.sqrt((matrix2 ** 2).sum(axis=1))[np.newaxis, :]
    denominators = norm1.dot(norm2)
    
    # 安全计算相似度：避免除以0，分母为0时直接返回0
    similarities = np.divide(numerators, denominators, out=np.zeros_like(numerators), where=denominators != 0)
    
    # 修改判断条件为 >= threshold，确保相似度为0的情况也能被保留
    similarities = np.where(similarities >= threshold, similarities, 0)
    
    return similarities

关键修改点 #

• 将判断条件从similarities > threshold改为similarities >= threshold，让相似度为0的字符串对也能满足阈值要求
• 使用np.divide的out和where参数处理分母为0的情况，避免产生NaN，保证所有结果都是有效数值
• 补充了完整的N-gram生成与相似度计算逻辑（原函数仅给出片段，完整逻辑是实现匹配的基础）

内容的提问来源于stack exchange，提问作者NIDHI SHASTRY