You need to enable JavaScript to run this app. 使用SpaCy匹配两张表中公司名称与地址的Python实现方法咨询
优惠活动
大模型
产品
解决方案
定价
更多

使用SpaCy匹配两张表中公司名称与地址的Python实现方法咨询

解决方案

基于SpaCy的批量匹配实现

核心思路

  • 提前预计算所有公司名、地址的语义向量,避免重复调用SpaCy模型浪费资源
  • 自定义两个字段的相似度阈值,两个字段同时达标才算匹配成功
  • 超大规模场景下禁用SpaCy不必要的管道组件,大幅提升处理速度

可运行代码

import spacy
import pandas as pd

# 加载模型时禁用不需要的管道,速度提升3-5倍
nlp = spacy.load('en_core_web_lg', disable=['parser', 'ner', 'tagger'])

# 读取数据表,这里替换为你实际的读表逻辑(如pd.read_csv)
table1 = pd.DataFrame({
    'COMPANY': ['BOSCH', 'Infra', 'AB'],
    'ADDRESS': ['18th main', '19th main', '21st main']
})
table2 = pd.DataFrame({
    'COMPANY': ['BOSCH', 'Infran', 'AB'],
    'ADDRESS': ['18th main', '20th main', '21st main']
})

# 自定义相似度阈值,可根据业务场景调整
COMPANY_SIM_THRESHOLD = 0.9
ADDRESS_SIM_THRESHOLD = 0.85

match_results = []
# 按行对齐匹配,如果是全量交叉匹配看后面的优化方案
for idx in range(len(table1)):
    t1_comp = table1.loc[idx, 'COMPANY']
    t2_comp = table2.loc[idx, 'COMPANY']
    t1_addr = table1.loc[idx, 'ADDRESS']
    t2_addr = table2.loc[idx, 'ADDRESS']
    
    # 计算两个字段的语义相似度
    comp_sim = nlp(t1_comp).similarity(nlp(t2_comp))
    addr_sim = nlp(t1_addr).similarity(nlp(t2_addr))
    
    is_matched = comp_sim >= COMPANY_SIM_THRESHOLD and addr_sim >= ADDRESS_SIM_THRESHOLD
    match_results.append((t1_comp, t2_comp, is_matched))

# 拆分输出结果
matched = [item for item in match_results if item[2]]
unmatched = [item for item in match_results if not item[2]]

print("匹配结果:")
for item in matched:
    print(f"{item[0]:<6} {item[1]:<6} True")

print("\n未匹配结果:")
for item in unmatched:
    print(f"{item[0]:<6} {item[1]:<6} False")

超大规模数据集优化方案

  • 预计算所有文本的向量并持久化存储,后续匹配直接读取向量不需要重复处理文本
  • 如果需要做两张表的全量交叉匹配(非按行对齐),不要逐对计算相似度,用Faiss构建向量索引批量查询,千万级数据可做到秒级返回
  • 用多进程并行处理文本向量化步骤,进一步提升处理效率

其他替代实现方案

  • FuzzyWuzzy+Levenshtein:纯字符串模糊匹配方案,无需加载大模型,速度远快于SpaCy,适合主要是拼写差异(如typo、前后缀差异)的匹配场景,计算编辑距离得分即可判断是否匹配
  • 地址专用解析库:如果匹配的是欧美地址,可先用usaddress等库把地址解析成门牌号、街道、城市等标准化字段后再匹配,准确率比通用语义匹配高
  • 向量数据库:亿级以上数据量场景,直接用Milvus等分布式向量数据库存储和查询向量,支持弹性扩容,查询效率更高

内容的提问来源于stack exchange,提问作者swetha reddy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 12:24:06