如何利用similarity metric判断用户输入是新学校名还是拼写错误？

针对500个学校名称的匹配场景，以下几种度量方法能有效区分用户输入是已有学校的拼写错误还是全新学校：

• 编辑距离（Levenshtein Distance）
  这是拼写错误检测的经典方法，计算两个字符串之间完成互相转换所需的最少插入、删除、替换操作次数。比如用户把“复旦大学”写成“复旦大”，编辑距离仅为1，很容易识别。对于500个样本的规模，计算效率完全够用。可以根据学校名称长度设定阈值：比如短名称（2-3字）阈值设为≤1，长名称（4字及以上）阈值设为≤2，当用户输入与某所学校的编辑距离低于阈值时，判定为拼写错误的已有学校。

• 基于n-gram的Jaccard相似度
  将学校名称拆分为连续的字符组（比如二元组或三元组），例如“浙江大学”拆为“浙江”“江大”“大学”，然后计算用户输入与现有学校名称的n-gram交集元素数和并集元素数的比值。这种方法擅长处理字符错位、部分漏写的情况，比如“上海交通大学”写成“上海交大通学”，编辑距离较高，但n-gram的Jaccard相似度会明显高于全新学校。通常设置相似度≥0.7作为判定为已有学校的阈值。

• 基于词嵌入的余弦相似度
  如果学校存在全称、简称混用的情况（比如“北京师范大学”和“北师大”），可以用预训练的中文词嵌入模型（如Word2Vec、BERT）将学校名称转换为向量，通过计算向量间的余弦相似度判断语义相关性。这种方法能兼顾拼写错误和语义匹配，但纯拼写错误场景下效果略逊于编辑距离，适合需要同时识别简称的复杂场景。

实用判断逻辑建议 #

1. 计算用户输入与所有现有学校的相似度，取最高相似度值；
2. 依据选定的度量方法阈值判断：若最高相似度超过阈值，判定为对应学校的拼写错误；否则视为全新学校；
3. 可结合多种方法提升准确性：比如先用编辑距离筛选出候选学校，再用n-gram相似度二次验证，减少误判。

内容的提问来源于stack exchange，提问作者JF Meier