如何使用Python或JS实现问题匹配检测，降低自动应答场景误判率

自动应答场景下优先控制误判率，推荐优先选择「高精度优先、阈值可调」的方案，以下是Python和JS侧的可落地方案：

轻量无模型方案（部署成本极低，误判率可控） #

适合问题库规模小、句式重复度高的业务场景，核心逻辑是「文本预处理+相似度计算+核心关键词校验」三层过滤，几乎不会出现离谱误判。

Python 实现 #

• 预处理步骤：统一转小写、去除特殊符号、过滤停用词，中文用jieba分词、英文用nltk分词即可
• 相似度计算可选用两种方案：
  1. 对精度要求一般的场景用scikit-learn的TF-IDF+余弦相似度，计算速度极快
  2. 对精度要求高的场景用sentence-transformers的轻量句向量模型all-MiniLM-L6-v2，体积仅几十M，推理速度快
• 强制加核心关键词校验：只有两个问题同时包含业务核心关键词（比如示例中的mysql、password）才判定为相关，避免语义漂移
  示例代码：

from sentence_transformers import SentenceTransformer, util
import re

model = SentenceTransformer('all-MiniLM-L6-v2')
# 业务核心关键词列表，可根据场景自行扩展
CORE_KEYWORDS = {"mysql", "password"}

def preprocess(text: str) -> str:
    text = text.lower()
    return re.sub(r'[^\w\s]', '', text)

def is_related(q1: str, q2: str, threshold: float = 0.85) -> bool:
    # 先校验核心关键词是否同时存在
    q1_clean = preprocess(q1)
    q2_clean = preprocess(q2)
    for kw in CORE_KEYWORDS:
        if kw not in q1_clean or kw not in q2_clean:
            return False
    # 计算语义相似度
    emb1 = model.encode(q1_clean, convert_to_tensor=True)
    emb2 = model.encode(q2_clean, convert_to_tensor=True)
    cos_sim = util.cos_sim(emb1, emb2).item()
    return cos_sim >= threshold

JS 实现 #

• 轻量场景用natural库实现TF-IDF相似度计算，高精度场景用@xenova/transformers跑轻量句向量模型
  示例代码：

const natural = require('natural');
const tfidf = new natural.TfIdf();
// 核心关键词列表
const CORE_KEYWORDS = new Set(['mysql', 'password']);

function preprocess(text) {
    return text.toLowerCase().replace(/[^\w\s]/g, '');
}

// 余弦相似度计算工具函数
function cosineSimilarity(vecA, vecB) {
    let dotProduct = 0, magA = 0, magB = 0;
    for (let i = 0; i < Math.max(vecA.length, vecB.length); i++) {
        const a = vecA[i] || 0, b = vecB[i] || 0;
        dotProduct += a * b;
        magA += a ** 2;
        magB += b ** 2;
    }
    return magA === 0 || magB === 0 ? 0 : dotProduct / (Math.sqrt(magA) * Math.sqrt(magB));
}

function isRelated(q1, q2, threshold = 0.8) {
    const q1Clean = preprocess(q1);
    const q2Clean = preprocess(q2);
    // 核心关键词校验
    for (const kw of CORE_KEYWORDS) {
        if (!q1Clean.includes(kw) || !q2Clean.includes(kw)) return false;
    }
    // 计算相似度
    tfidf.addDocument(q1Clean);
    tfidf.addDocument(q2Clean);
    const vec1 = tfidf.listTerms(0).map(item => item.tfidf);
    const vec2 = tfidf.listTerms(1).map(item => item.tfidf);
    const sim = cosineSimilarity(vec1, vec2);
    return sim >= threshold;
}

高精度大模型方案（适合复杂语义场景） #

如果业务场景问题句式多变、同义改写多，轻量方案无法满足召回要求，就用大模型做二分类判断，通过严格的提示词可以把误判率压到极低。

• Python侧可以调用大模型API，也可以本地运行qwen-7b-int4这类小参数开源模型
• JS侧可以用大模型官方JS SDK，或者@xenova/transformers跑本地开源小模型
• 提示词参考：你是严格的问题相关性判断工具，只有两个问题的核心诉求完全一致时才输出Yes，否则输出No，不允许输出其他内容。问题1：{q1}，问题2：{q2}，输出：
• 优势是可以准确识别同义改写的问题，比如MySQL默认密码是多少和有人知道MySQL的初始密码吗也会被判定为相关。

最佳实践 #

阈值不要用通用默认值，用自己的业务测试集调整，自动应答场景优先把阈值调偏高，哪怕漏判少量问题也不要误判，给用户错误回答的负面影响远大于漏判。

内容的提问来源于stack exchange，提问作者Jourdelune