Python实现无预设参照的相似文本行去重 支持批量保留最早条目
实际碰到的问题
我是Python开发新手,之前已经熟练用Pandas的drop_duplicates做过完全相同文本行的去重,最近碰到了需要识别、删除相似文本行的需求,找不到合适的实现方案。
我手里的测试集是按时间顺序排列的一批虚构在线文章标题,一共7条:
- 班伯里一名困惑的孩子称“狗吃了我的作业”
- 班伯里困惑儿童称狗吃了作业
- 为什么狗狗这么可爱
- 班伯里时报:孩子称狗吃了作业,老师难以置信
- 狗狗不喜欢鸡蛋的原因解析
- 老年流浪犬被领养的暖心瞬间(请克制情绪)
- 班伯里警方抓捕行动中逮捕狗走私人员
我想要的处理效果很明确:把语义高度相似的第1、2、4条归为同一个相似组,只保留组内最早出现的第1条,最终保留下来的就是1、3、5、6、7这5条记录。
具体约束是:
- 能顺畅处理几百行规模的文本
- 不需要提前手动设定特定的参照文本当相似度匹配的基准,能自动完成相似行的划分
- 哪怕先只实现“相似文本自动分组”这一步,后面再做“保留最早项”的逻辑也可以,只要整体思路能落地就行
可落地的实现路径
整个需求拆成3个独立步骤就能跑通,不需要依赖复杂的外部服务:
- 把每行文本转换成计算机可以计算相似度的数值向量
- 用无监督聚类算法自动把相似的文本划分为同一组,全程不需要提前指定参照文本
- 按原始的时间顺序,对每个相似组只保留最早出现的一条记录
每一步的具体实现细节
- 文本向量化环节
几百行的文本量完全不用上重型模型,两种方案按需选:- 追求速度的话,先用
jieba给文本分词,去掉“的”“了”“称”这类对语义判断没用的停用词,再用TF-IDF把文本转成向量就行,纯本地跑没有额外依赖 - 追求语义判断准确率的话,可以用轻量的中文句子向量模型,算出来的向量能直接反映文本的语义关联,比纯词频的TF-IDF对相似内容的识别度高很多,本地运行也不会卡顿
- 追求速度的话,先用
- 自动分组环节
因为不需要提前知道一共有多少个相似组,选不预设簇数的聚类算法最适配,首选DBSCAN:- 这个算法的逻辑就是把空间里距离近的样本归为同一簇,离群的样本单独成簇,刚好匹配“不需要提前找参照文本,只要相似度够高就算同组”的要求
- 只需要调整一个核心参数
eps——也就是两个文本的向量距离达到多少时就不算相似,比如把eps设为0.2,就代表两个文本的余弦距离小于0.2就算同一组,几百行的文本量跑这个算法基本是毫秒级出结果,没有性能压力
- 组内去重环节
等所有文本都打上对应的组标签之后,按原始的时间顺序排序,用Pandas的groupby按组标签分组,取每组的第一条记录就行,这部分逻辑用两三行代码就能写完
实际效果验证
拿上面举的7条标题当测试集,这套流程跑下来刚好能达到预期效果:
- 三个描述“孩子声称狗吃了作业”的标题,分词后共享的核心表意词汇很多,转成向量之后距离很近,会被自动分到同一组
- 剩下的“狗狗为什么可爱”“狗狗为什么不喜欢鸡蛋”“老年流浪犬领养”“班伯里警方抓狗走私犯”这几条,因为核心表意差异很大,会各自形成单独的组,不会被误合并
实操小提醒
- DBSCAN的
eps参数不要设得太极端:参数调得太小,会把不相关的文本误判成相似;参数调得太大,又会把语义差异明显的文本合并到一组。几百行的数据量,手动调2-3次参数基本就能调到满意的效果 - 几百行的文本量完全不需要上大模型做语义推理,轻量方案的速度和准确率完全能满足需求,没必要增加额外的运行成本
内容的提问来源于stack exchange,提问作者Gazzer
相关产品推荐
相关产品推荐

