Python基于fuzzywuzzy按指定维度模糊分组产品名的代码提速咨询
现有代码的核心性能问题
- 最拖速度的是循环里反复用
pd.DataFrame.append:这个方法每次执行都会全量复制已经存下的DataFrame,200万行数据下光这一步的时间复杂度就是平方级,也是为什么最后解包合并要花1-2天的核心原因。 - 模糊匹配完全没做去重优化:同一个
IIN_BIN、TNVED组里大量重复的prep文本,会被反复拉出来算相似度,这部分无意义计算能占总计算量的80%以上。 - 冗余的三层嵌套字典结构:本来最终只需要给每一行打个分组标签,结果要把每个小分组的DataFrame逐层存在三层字典里,造成大量重复的内存拷贝,进一步拖慢整体速度。
- 用的fuzzywuzzy是纯Python实现,计算效率极低,同类型的模糊匹配工具速度是它的上百倍。
优化实现方案
核心优化思路
完全抛弃三层嵌套字典的存储结构,直接在原DataFrame上逐行打分组标签,把循环内的增量拼接换成一次性全量拼接,替换更高性能的模糊匹配后端,同时对组内重复文本提前去重减少计算量。
可直接落地的实现代码
首先替换模糊匹配依赖,把fuzzywuzzy换成接口完全兼容但速度快10~100倍的rapidfuzz:
from rapidfuzz import fuzz as fuzz_fast import pandas as pd # 基础预处理 df['prep'] = df['prep'].fillna("").str.strip() # 一次性生成分组切片,避免循环内反复全表筛选 grouped = df.groupby(['IIN_BIN', 'TNVED'], sort=False) group_labels = [] global_group_id = 0 # 全局连续分组ID,不需要嵌套字典做结构存储 for group_key, sub_df in grouped: # 组内对prep文本去重,仅对唯一值做相似度匹配 unique_prep = sub_df['prep'].unique() unclustered_pool = list(unique_prep) text_to_group = {} while unclustered_pool: # 取第一个未聚类的文本作为当前簇中心 cluster_center = unclustered_pool.pop(0) # 批量计算所有剩余未聚类文本与中心的相似度,达到90分阈值直接归为同组 match_scores = fuzz_fast.token_sort_ratio( cluster_center, unclustered_pool, score_cutoff=90 ) # 记录当前簇的文本映射 text_to_group[cluster_center] = global_group_id for text, score in zip(unclustered_pool, match_scores): if score >= 90: text_to_group[text] = global_group_id unclustered_pool.remove(text) global_group_id += 1 # 给当前子组所有行匹配对应的分组标签 sub_df['group_sorted'] = sub_df['prep'].map(text_to_group) group_labels.append(sub_df) # 一次性拼接所有带标签的子DataFrame,替代循环append final_df = pd.concat(group_labels, ignore_index=True) final_df.to_csv('item_desc_fuzzied.csv', index=False)
进一步提速的可选技巧
- 增加长度剪枝逻辑:两个文本长度差超过总长度20%时,直接跳过相似度计算,无需等fuzz接口做判断,可再减少30%左右的无意义计算。
- 多并行处理:如果机器有多个CPU核心,可以结合
joblib把不同IIN_BIN对应的分组任务拆分到多核运行,速度可随核数线性提升。 - 文本前置标准化:对
prep列提前做统一转小写、移除特殊符号、剔除无意义停用词处理,既可以提升匹配准确率,也能减少相似度计算时的文本长度。
按该方案改造后,原来需要1-2天的合并流程会压缩到秒级完成,整体模糊分组耗时会从数十小时降到分钟级,200万行规模的数据可以在普通消费级电脑上顺利跑完。
内容的提问来源于stack exchange,提问作者Рустем Тукабеков
相关产品推荐
相关产品推荐

