Python中针对结构化字符串的模糊字符串匹配方案咨询

一、现成的字符串归一化工具 #

不用手动实现归一化逻辑，以下Python库可直接复用：

• fuzzywuzzy：自带基础预处理能力，支持大小写统一、标点移除，还能自定义规则（如&转and、/转空格）。示例代码：

from fuzzywuzzy import fuzz

def normalize_str(s):
    # 自定义归一化规则：小写化、替换符号、规整空格
    s = s.lower().replace("&", "and").replace("/", " ").replace("'", "")
    return ' '.join(s.split())

# 测试匹配效果
print(fuzz.ratio(normalize_str("The Hobbit"), normalize_str("Hobbit/The")))
print(fuzz.ratio(normalize_str("Charlies Angles"), normalize_str("Charlie's Angels")))
print(fuzz.ratio(normalize_str("Apples & Pairs"), normalize_str("Apples and Pairs")))

• strsimpy：集成了标准化工具与多种相似度算法，内置符号替换、空格规整等逻辑，无需手动编写替换规则。
• unidecode：可将特殊字符（如重音符号）转换为普通ASCII字符，配合上述工具能覆盖更多场景。

二、Levenshtein的替代方案 #

除Bert外，这些算法更适配语序、符号差异的匹配场景：

• Jaccard相似度：基于词集合计算，忽略语序，适合处理The Hobbit与Hobbit/The这类语序颠倒的情况。示例实现：

def jaccard_sim(s1, s2):
    set1 = set(normalize_str(s1).split())
    set2 = set(normalize_str(s2).split())
    return len(set1 & set2) / len(set1 | set2) if (set1 | set2) else 0.0

• Sørensen-Dice系数：与Jaccard逻辑类似，但通过2*交集大小/(集合1大小+集合2大小)计算，对短字符串匹配更敏感。
• Smith-Waterman算法：局部序列比对算法，可定位两个字符串中最相似的子序列，适配拼写小错误、符号替换类场景。
• NGram相似度：将字符串拆分为n字符片段，计算共同片段占比，能忽略语序与部分符号差异。比如3-gram可有效处理Charlies Angles与Charlie's Angels的匹配问题，strsimpy库中提供了现成实现。

内容的提问来源于stack exchange，提问作者MYK