You need to enable JavaScript to run this app. Python基于fuzzywuzzy按指定维度模糊分组产品名的代码提速咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python基于fuzzywuzzy按指定维度模糊分组产品名的代码提速咨询

现有代码的核心性能问题
  • 最拖速度的是循环里反复用pd.DataFrame.append:这个方法每次执行都会全量复制已经存下的DataFrame,200万行数据下光这一步的时间复杂度就是平方级,也是为什么最后解包合并要花1-2天的核心原因。
  • 模糊匹配完全没做去重优化:同一个IIN_BIN、TNVED组里大量重复的prep文本,会被反复拉出来算相似度,这部分无意义计算能占总计算量的80%以上。
  • 冗余的三层嵌套字典结构:本来最终只需要给每一行打个分组标签,结果要把每个小分组的DataFrame逐层存在三层字典里,造成大量重复的内存拷贝,进一步拖慢整体速度。
  • 用的fuzzywuzzy是纯Python实现,计算效率极低,同类型的模糊匹配工具速度是它的上百倍。
优化实现方案

核心优化思路

完全抛弃三层嵌套字典的存储结构,直接在原DataFrame上逐行打分组标签,把循环内的增量拼接换成一次性全量拼接,替换更高性能的模糊匹配后端,同时对组内重复文本提前去重减少计算量。

可直接落地的实现代码

首先替换模糊匹配依赖,把fuzzywuzzy换成接口完全兼容但速度快10~100倍的rapidfuzz:

from rapidfuzz import fuzz as fuzz_fast
import pandas as pd

# 基础预处理
df['prep'] = df['prep'].fillna("").str.strip()
# 一次性生成分组切片,避免循环内反复全表筛选
grouped = df.groupby(['IIN_BIN', 'TNVED'], sort=False)
group_labels = []
global_group_id = 0  # 全局连续分组ID,不需要嵌套字典做结构存储

for group_key, sub_df in grouped:
    # 组内对prep文本去重,仅对唯一值做相似度匹配
    unique_prep = sub_df['prep'].unique()
    unclustered_pool = list(unique_prep)
    text_to_group = {}

    while unclustered_pool:
        # 取第一个未聚类的文本作为当前簇中心
        cluster_center = unclustered_pool.pop(0)
        # 批量计算所有剩余未聚类文本与中心的相似度,达到90分阈值直接归为同组
        match_scores = fuzz_fast.token_sort_ratio(
            cluster_center, unclustered_pool, score_cutoff=90
        )
        # 记录当前簇的文本映射
        text_to_group[cluster_center] = global_group_id
        for text, score in zip(unclustered_pool, match_scores):
            if score >= 90:
                text_to_group[text] = global_group_id
                unclustered_pool.remove(text)
        
        global_group_id += 1

    # 给当前子组所有行匹配对应的分组标签
    sub_df['group_sorted'] = sub_df['prep'].map(text_to_group)
    group_labels.append(sub_df)

# 一次性拼接所有带标签的子DataFrame,替代循环append
final_df = pd.concat(group_labels, ignore_index=True)
final_df.to_csv('item_desc_fuzzied.csv', index=False)
进一步提速的可选技巧
  • 增加长度剪枝逻辑:两个文本长度差超过总长度20%时,直接跳过相似度计算,无需等fuzz接口做判断,可再减少30%左右的无意义计算。
  • 多并行处理:如果机器有多个CPU核心,可以结合joblib把不同IIN_BIN对应的分组任务拆分到多核运行,速度可随核数线性提升。
  • 文本前置标准化:对prep列提前做统一转小写、移除特殊符号、剔除无意义停用词处理,既可以提升匹配准确率,也能减少相似度计算时的文本长度。

按该方案改造后,原来需要1-2天的合并流程会压缩到秒级完成,整体模糊分组耗时会从数十小时降到分钟级,200万行规模的数据可以在普通消费级电脑上顺利跑完。

内容的提问来源于stack exchange,提问作者Рустем Тукабеков

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 06:57:00