如何使用Python的fuzzywuzzy计算两个名称列表的两两模糊匹配得分
基于fuzzywuzzy实现两个名称集合的两两相似度计算
环境准备
在终端执行以下命令安装所需依赖:pip install pandas fuzzywuzzy python-Levenshtein
注:python-Levenshtein是匹配加速依赖,安装后模糊匹配计算速度可提升10倍以上,缺失时代码也可正常运行。
实现流程
- 导入依赖模块
import pandas as pd from fuzzywuzzy import fuzz - 构造两个存储名称的DataFrame,对应题目提到的两个数据源:
# 第一个名称集DataFrame df1 = pd.DataFrame({"names_1": ["John", "Alex", "harry"]}) # 第二个名称集DataFrame df2 = pd.DataFrame({"names_2": ["ryan", "kane", "king"]}) - 生成跨集两两配对(笛卡尔积):通过临时同值连接键实现交叉连接,避免手写嵌套循环
# 给两个DataFrame添加相同的临时连接键 df1["temp_key"] = 1 df2["temp_key"] = 1 # 交叉连接生成所有配对,删除临时键 all_pairs = df1.merge(df2, on="temp_key").drop(columns="temp_key") - 逐对计算fuzz.Ratio相似度:
all_pairs["fuzz.Ratio"] = all_pairs.apply( lambda row: fuzz.ratio(row["names_1"], row["names_2"]), axis=1 ) - 匹配目标输出格式:将两个名称列设置为多级行索引,得到的结果结构与示例完全一致
final_res = all_pairs.set_index(["names_1", "names_2"])
补充说明:
fuzz.ratio默认计算时会区分字符大小写,如果需要消除大小写差异对结果的影响,可在计算前对两个名称列做统一大小写转换,例如全转小写后再执行匹配计算。
内容的提问来源于stack exchange,提问作者Lokesh Choraria
相关产品推荐
相关产品推荐

