Python海量姓名文档匹配：tri-gram比对实现及性能优化问询

代码运行结果不符合预期的修复 #

你当前的代码没有指定求和维度，numpy默认会对整个布尔矩阵的所有元素求和，才得到总匹配数6。要得到每个子元组的独立匹配数，只需指定axis=1按行求和即可：

import numpy as np
a = np.array([(1,2,3), (1,3,3), (3,3,3), (3,3,4)])
b = np.array((1,2,3))
# 按行统计每个元组的匹配元素数量
per_tuple_match = np.sum(a == b, axis=1)
print(per_tuple_match) # 输出 [3 2 1 0]
# 直接获取最大匹配值
max_match = per_tuple_match.max()
print(max_match) # 输出 3

不同长度姓名的tri-gram适配方案 #

你提到的两种拆分思路都有明显缺陷：统一按最大长度拆分，会给短姓名引入无效占位gram，拉低匹配准确率；动态调整文档拆分规则，相当于10万+姓名每次匹配都要重新拆分文档，性能损耗极大。更推荐的实现方案如下：

• 倒排索引预构建：提前给所有姓名的tri-gram做哈希，构建倒排索引：key为gram哈希值，value为包含该gram的姓名ID列表。匹配时只需拆分一次文档得到tri-gram集合，遍历每个gram对应的倒排表给姓名累加匹配计数，最后取计数最高的姓名做二次校验即可。这套逻辑无需逐姓名遍历匹配，性能比逐次对比高1-2个量级，完全适配10万级姓名的匹配需求。
• 固定集合匹配：无论姓名长度多少，都将其所有tri-gram哈希值存储为集合，文档的tri-gram也统一转换为集合，相似度直接用交集大小或Jaccard系数计算，完全不需要对齐长度。如果要进一步提速，可以提前将所有姓名的gram哈希转换为布尔稀疏矩阵，和文档的gram向量做批量矩阵乘法，一行Python循环都不需要写就能拿到所有姓名的匹配计数。
• 长度分桶优化：可以提前按照姓名长度对所有姓名做分桶，匹配时只和文档滑动窗口长度对应的同长度姓名桶做匹配，无需遍历全量10万条数据，性能可以再提升3-5倍。

内容的提问来源于stack exchange，提问作者jpjpjpjp