Python优化地址文本比对循环提速问题求助

原代码核心性能瓶颈 #

1. O(n²)嵌套Python循环：3万条地址会产生9亿次比对，纯Python循环效率极低
2. 频繁的DataFrame拼接：每次循环创建单行DataFrame并concat，属于IO密集型操作，累积开销巨大
3. 未利用批量匹配能力：没有使用rapidfuzz内置的高效批量匹配接口，浪费了底层C实现的性能优势

优化后的代码实现 #

基础优化版（单线程）

import pandas as pd
from tqdm import tqdm
from faker import Faker
from rapidfuzz import process, fuzz

# 生成模拟地址（优化生成逻辑）
fake = Faker()
fake_addresses = pd.DataFrame(
    {"add": [fake.address() for _ in range(20)]}
).drop_duplicates().reset_index(drop=True)

# 替换为实际场景的参考地址和待匹配地址列表
reference = fake_addresses["add"].tolist()
raw_addresses = fake_addresses["add"].tolist()  # 实际为你的3万条地址

# 匹配阈值（根据需求调整）
MATCH_THRESHOLD = 95

# 批量收集匹配结果
matches = []
for addr in tqdm(reference):
    # 直接过滤达标结果，避免后续二次筛选
    valid_matches = process.extract(
        addr, 
        raw_addresses, 
        scorer=fuzz.token_sort_ratio,
        score_cutoff=MATCH_THRESHOLD,
        limit=None
    )
    # 收集符合条件的配对
    for matched_addr, _, _ in valid_matches:
        matches.append({
            "reference_address": addr,
            "matched_address": matched_addr
        })

# 一次性生成结果DataFrame
ref_addresses = pd.DataFrame(matches).drop_duplicates()

多线程加速版（利用多核CPU）

import pandas as pd
from tqdm import tqdm
from faker import Faker
from rapidfuzz import process, fuzz
from concurrent.futures import ThreadPoolExecutor

# 生成模拟地址
fake = Faker()
fake_addresses = pd.DataFrame(
    {"add": [fake.address() for _ in range(20)]}
).drop_duplicates().reset_index(drop=True)

reference = fake_addresses["add"].tolist()
raw_addresses = fake_addresses["add"].tolist()
MATCH_THRESHOLD = 95

# 单地址匹配逻辑，用于并行执行
def match_addr(addr):
    valid_matches = process.extract(
        addr, 
        raw_addresses, 
        scorer=fuzz.token_sort_ratio,
        score_cutoff=MATCH_THRESHOLD,
        limit=None
    )
    return [{
        "reference_address": addr,
        "matched_address": matched_addr
    } for matched_addr, _, _ in valid_matches]

# 多线程并行处理
with ThreadPoolExecutor(max_workers=None) as executor:
    # 用tqdm显示进度
    results = list(tqdm(executor.map(match_addr, reference), total=len(reference)))

# 扁平化结果列表并生成DataFrame
matches = [item for sublist in results for item in sublist]
ref_addresses = pd.DataFrame(matches).drop_duplicates()

关键优化点说明 #

1. 替换嵌套循环：用process.extract批量处理单个参考地址的匹配，内部基于C实现，比Python循环快10-100倍
2. 减少DataFrame操作：先将所有匹配结果存入列表，最后一次性转换为DataFrame，避免频繁concat的开销
3. 提前过滤阈值：通过score_cutoff参数在匹配阶段直接过滤不达标的结果，减少后续数据处理量
4. 多线程并行：利用CPU多核能力，将匹配任务拆分并行执行，进一步缩短耗时

针对3万条地址的进阶优化建议 #

1. 地址标准化预处理：
   • 统一格式：去掉换行、特殊符号，转换为小写
   • 结构化拆分：用地址解析工具（如addrparser）拆分省/市/区/街道/门牌号，分字段匹配，提升准确性和效率
2. 近似索引加速：
   • 用annoy或faiss构建地址向量索引（基于TF-IDF或Sentence-BERT），先快速筛选出候选相似地址，再用rapidfuzz计算精确相似度，减少比对次数
3. 调整匹配策略：
   • 如果允许，优先匹配结构化字段（如门牌号、街道名），再用模糊匹配处理剩余部分，比全文本匹配更高效

内容的提问来源于stack exchange，提问作者John Smith