使用SpaCy匹配两张表中公司名称与地址的Python实现方法咨询
解决方案
基于SpaCy的批量匹配实现
核心思路
- 提前预计算所有公司名、地址的语义向量,避免重复调用SpaCy模型浪费资源
- 自定义两个字段的相似度阈值,两个字段同时达标才算匹配成功
- 超大规模场景下禁用SpaCy不必要的管道组件,大幅提升处理速度
可运行代码
import spacy import pandas as pd # 加载模型时禁用不需要的管道,速度提升3-5倍 nlp = spacy.load('en_core_web_lg', disable=['parser', 'ner', 'tagger']) # 读取数据表,这里替换为你实际的读表逻辑(如pd.read_csv) table1 = pd.DataFrame({ 'COMPANY': ['BOSCH', 'Infra', 'AB'], 'ADDRESS': ['18th main', '19th main', '21st main'] }) table2 = pd.DataFrame({ 'COMPANY': ['BOSCH', 'Infran', 'AB'], 'ADDRESS': ['18th main', '20th main', '21st main'] }) # 自定义相似度阈值,可根据业务场景调整 COMPANY_SIM_THRESHOLD = 0.9 ADDRESS_SIM_THRESHOLD = 0.85 match_results = [] # 按行对齐匹配,如果是全量交叉匹配看后面的优化方案 for idx in range(len(table1)): t1_comp = table1.loc[idx, 'COMPANY'] t2_comp = table2.loc[idx, 'COMPANY'] t1_addr = table1.loc[idx, 'ADDRESS'] t2_addr = table2.loc[idx, 'ADDRESS'] # 计算两个字段的语义相似度 comp_sim = nlp(t1_comp).similarity(nlp(t2_comp)) addr_sim = nlp(t1_addr).similarity(nlp(t2_addr)) is_matched = comp_sim >= COMPANY_SIM_THRESHOLD and addr_sim >= ADDRESS_SIM_THRESHOLD match_results.append((t1_comp, t2_comp, is_matched)) # 拆分输出结果 matched = [item for item in match_results if item[2]] unmatched = [item for item in match_results if not item[2]] print("匹配结果:") for item in matched: print(f"{item[0]:<6} {item[1]:<6} True") print("\n未匹配结果:") for item in unmatched: print(f"{item[0]:<6} {item[1]:<6} False")
超大规模数据集优化方案
- 预计算所有文本的向量并持久化存储,后续匹配直接读取向量不需要重复处理文本
- 如果需要做两张表的全量交叉匹配(非按行对齐),不要逐对计算相似度,用Faiss构建向量索引批量查询,千万级数据可做到秒级返回
- 用多进程并行处理文本向量化步骤,进一步提升处理效率
其他替代实现方案
- FuzzyWuzzy+Levenshtein:纯字符串模糊匹配方案,无需加载大模型,速度远快于SpaCy,适合主要是拼写差异(如typo、前后缀差异)的匹配场景,计算编辑距离得分即可判断是否匹配
- 地址专用解析库:如果匹配的是欧美地址,可先用usaddress等库把地址解析成门牌号、街道、城市等标准化字段后再匹配,准确率比通用语义匹配高
- 向量数据库:亿级以上数据量场景,直接用Milvus等分布式向量数据库存储和查询向量,支持弹性扩容,查询效率更高
内容的提问来源于stack exchange,提问作者swetha reddy
相关产品推荐
相关产品推荐

