Python字典大规模模糊搜索性能优化求助（基于fuzzywuzzy）

嘿，处理10万条数据的全量两两模糊匹配确实是个大坑——fuzzywuzzy纯Python实现的特性注定了它扛不住O(n²)的计算量，10万条数据光是比对次数就有100亿次，慢到离谱太正常了。我整理了几个实战过的优化方案，从工具替换到算法层面都有，你可以按需组合：

fuzzywuzzy的核心逻辑基于Levenshtein距离，但纯Python实现的速度实在拉胯。RapidFuzz是它的C++重写版本，API几乎完全兼容，但速度能快50-100倍，是最直接的优化手段。

先安装库：

pip install rapidfuzz

替换调用也超简单，把原来的fuzz.ratio()换成rapidfuzz.fuzz.ratio()，批量匹配用rapidfuzz.process.extract()即可，不用改太多代码结构。

在比对前先对字符串做清洗，能大幅减少后续的计算量：

• 统一格式：把所有名字转成小写、去掉空格/标点，比如"Jason Bourne"变成"jasonbourne"，减少字符比对的数量。
• 长度过滤：如果两个字符串的长度差超过20%（比如一个是10字符，另一个是13字符以上），它们的相似度大概率达不到你要的阈值，直接跳过比对。

全量两两比对是最大的性能杀手，我们可以用LSH把相似的字符串提前聚类到同一个“桶”里，只在桶内做比对，这样比对次数能从100亿级降到百万级甚至更低。

推荐用datasketch库实现MinHash LSH，示例代码如下：

from datasketch import MinHash, MinHashLSH
from rapidfuzz import fuzz
import json
import csv

# 先解析字典里的JSON字符串
d_parsed = {id: json.loads(info) for id, info in d.items()}
name_id_pairs = [(item["Name"], id) for id, item in d_parsed.items()]

# 生成n-gram特征（这里用2-gram）
def get_ngrams(s, n=2):
    cleaned = s.lower().replace(" ", "")
    return [cleaned[i:i+n] for i in range(len(cleaned)-n+1)]

# 初始化LSH索引
lsh = MinHashLSH(threshold=0.5, num_perm=128)
minhash_map = {}

# 构建MinHash并加入索引
for name, id in name_id_pairs:
    mh = MinHash(num_perm=128)
    for gram in get_ngrams(name):
        mh.update(gram.encode("utf-8"))
    minhash_map[id] = mh
    lsh.insert(id, mh)

# 查找相似项并写入结果
seen_pairs = set()  # 避免重复记录同一对
with open("out.csv", "w", newline="") as outfile:
    writer = csv.writer(outfile)
    writer.writerow(["ID1", "ID2", "Similarity"])
    
    for id1, mh1 in minhash_map.items():
        # 从LSH中获取候选相似ID
        candidates = lsh.query(mh1)
        for id2 in candidates:
            if id1 == id2:
                continue
            # 确保每对只记录一次（按ID排序）
            pair = tuple(sorted([id1, id2]))
            if pair in seen_pairs:
                continue
            seen_pairs.add(pair)
            # 用RapidFuzz计算实际相似度
            score = fuzz.ratio(d_parsed[id1]["Name"], d_parsed[id2]["Name"])
            if score >= 80:  # 按需调整相似度阈值
                writer.writerow([id1, id2, score])

模糊匹配是CPU密集型任务，用多进程拆分任务能充分利用多核CPU。比如用multiprocessing.Pool把数据分成多个块，每个块内处理比对逻辑，最后合并结果。不过要注意：

• 避免进程间的内存拷贝，尽量用共享内存或者分块传递数据。
• 不要过度拆分进程，一般和CPU核心数一致即可。

• 调整相似度阈值：先设一个较高的阈值（比如80），过滤掉大部分不相似的对，后续再根据需求降低。
• 内存优化：如果10万条数据占内存太大，可以分批次处理，比如每次处理1万条，写完结果再处理下一批。

内容的提问来源于stack exchange，提问作者ifreak