Pandas DataFrame单列文本Levenshtein距离计算的内存优化方法

原有自交叉连接的逻辑会为11.5万行数据生成115000 * 115000 = 132.25亿条中间记录，哪怕每条记录仅占用50字节内存，全量表也需要660GB以上内存，必然触发内存上限报错，仅靠调大运行内存无法解决问题，必须通过前置剪枝从源头减少无效计算，避免生成全量笛卡尔积。
你的业务目标仅需保留Levenshtein距离为1或2的配对，完全不需要遍历全量两两组合。 #

1. 基础剪枝：用字符串长度差过滤无效配对 #

Levenshtein距离有明确的数学性质：两个字符串的编辑距离，必然大于等于二者长度差的绝对值。也就是说，只要两个字符串长度差超过2，根本不需要计算精确距离，直接排除即可。
落地操作：

• 先把Name列按字符串长度分组
• 仅保留长度差≤2的分组间做配对计算，跳过所有长度差>2的组合
• 这套规则通常能砍掉90%以上的无效配对，11.5万行规模下，需要计算的配对数会从132亿降到千万级，完全不会触发内存问题。

2. 高效候选集缩小：用bigram倒排索引圈定匹配范围 #

编辑距离≤2的两个字符串，必然存在至少1个公共的相邻2字符片段（bigram），基于这个特性可以提前圈定候选匹配集：

• 把每个Name文本拆成所有相邻的2字符组合（比如"John"拆为["Jo", "oh", "hn"]）
• 构建倒排表：key为每个bigram值，value为所有包含该bigram的行索引列表
• 对每一行的Name，从倒排表中拉出所有和它共享至少1个bigram的行索引去重，即为待计算的候选集
• 仅对候选集内的行对计算精确Levenshtein距离，筛选距离1-2的结果
  这套方法通常能把候选集规模压缩到全量的1%以内，计算量从百亿级降到百万级，单节点几秒即可跑完。

3. 计算加速：替换高性能距离实现 #

把原有textdistance的Levenshtein实现替换为rapidfuzz的对应接口，性能提升5-10倍：

• 自带阈值剪枝功能，只要提前设置max_distance=2，遇到超出阈值的配对会直接返回结果，不会跑完整的动态规划流程
• 逐行流式收集符合条件的结果，全程不加载全量交叉表，内存占用仅和最终符合条件的结果数正相关。

下面的代码输出和你示例中的最终结果格式完全对齐，全程不生成全量笛卡尔积：

import pandas as pd
from rapidfuzz.distance import Levenshtein

# 与你原有逻辑完全兼容的原始数据
df = pd.DataFrame({'Name':['John', 'Jon', 'Ron'], 'Phone':[123, 456, 789], 'State':['CA', 'GA', 'MA']})

# 第一步：按字符串长度分组，执行长度剪枝
df['str_len'] = df['Name'].str.len()
len_groups = df.groupby('str_len').groups

# 第二步：生成候选配对集合，只保留长度差<=2的行对，去重减少计算量
candidate_pairs = set()
for length, group_idx in len_groups.items():
    for offset in [0, 1, 2]:
        compare_len = length + offset
        if compare_len not in len_groups:
            continue
        compare_idx = list(len_groups[compare_len])
        for i in group_idx:
            for j in compare_idx:
                if i <= j:  # 去掉自配对、重复反向配对，砍掉一半计算量
                    candidate_pairs.add((i, j))

# 第三步：逐对计算距离，收集符合条件的结果
result_rows = []
for i, j in candidate_pairs:
    s1 = df.loc[i, 'Name']
    s2 = df.loc[j, 'Name']
    # 提前设置max_distance=2，超出阈值直接返回，大幅提升计算速度
    dist = Levenshtein.distance(s1, s2, max_distance=2)
    if dist in [1, 2]:
        # 按原有输出格式，同时记录正反两个方向的匹配结果
        row_i = df.loc[i, ['Name', 'Phone', 'State']].to_dict()
        row_j = df.loc[j, ['Name', 'Phone', 'State']].to_dict()
        # 正向匹配
        result_rows.append({
            **row_i,
            'Name_Match': row_j['Name'],
            'Phone_Match': row_j['Phone'],
            'distance': dist
        })
        # 反向匹配（对应原有交叉连接的双向输出逻辑）
        result_rows.append({
            **row_j,
            'Name_Match': row_i['Name'],
            'Phone_Match': row_i['Phone'],
            'distance': dist
        })

# 最终结果和原有逻辑输出完全一致
final_df = pd.DataFrame(result_rows)

内容的提问来源于stack exchange，提问作者Chaitya Shah