You need to enable JavaScript to run this app. Python实现无预设参照的相似文本行去重 支持批量保留最早条目
优惠活动
大模型
产品
解决方案
定价
更多

Python实现无预设参照的相似文本行去重 支持批量保留最早条目

实际碰到的问题

我是Python开发新手,之前已经熟练用Pandas的drop_duplicates做过完全相同文本行的去重,最近碰到了需要识别、删除相似文本行的需求,找不到合适的实现方案。

我手里的测试集是按时间顺序排列的一批虚构在线文章标题,一共7条:

  1. 班伯里一名困惑的孩子称“狗吃了我的作业”
  2. 班伯里困惑儿童称狗吃了作业
  3. 为什么狗狗这么可爱
  4. 班伯里时报:孩子称狗吃了作业,老师难以置信
  5. 狗狗不喜欢鸡蛋的原因解析
  6. 老年流浪犬被领养的暖心瞬间(请克制情绪)
  7. 班伯里警方抓捕行动中逮捕狗走私人员

我想要的处理效果很明确:把语义高度相似的第1、2、4条归为同一个相似组,只保留组内最早出现的第1条,最终保留下来的就是1、3、5、6、7这5条记录。
具体约束是:

  • 能顺畅处理几百行规模的文本
  • 不需要提前手动设定特定的参照文本当相似度匹配的基准,能自动完成相似行的划分
  • 哪怕先只实现“相似文本自动分组”这一步,后面再做“保留最早项”的逻辑也可以,只要整体思路能落地就行
可落地的实现路径

整个需求拆成3个独立步骤就能跑通,不需要依赖复杂的外部服务:

  1. 把每行文本转换成计算机可以计算相似度的数值向量
  2. 用无监督聚类算法自动把相似的文本划分为同一组,全程不需要提前指定参照文本
  3. 按原始的时间顺序,对每个相似组只保留最早出现的一条记录

每一步的具体实现细节

  • 文本向量化环节
    几百行的文本量完全不用上重型模型,两种方案按需选:
    • 追求速度的话,先用jieba给文本分词,去掉“的”“了”“称”这类对语义判断没用的停用词,再用TF-IDF把文本转成向量就行,纯本地跑没有额外依赖
    • 追求语义判断准确率的话,可以用轻量的中文句子向量模型,算出来的向量能直接反映文本的语义关联,比纯词频的TF-IDF对相似内容的识别度高很多,本地运行也不会卡顿
  • 自动分组环节
    因为不需要提前知道一共有多少个相似组,选不预设簇数的聚类算法最适配,首选DBSCAN:
    • 这个算法的逻辑就是把空间里距离近的样本归为同一簇,离群的样本单独成簇,刚好匹配“不需要提前找参照文本,只要相似度够高就算同组”的要求
    • 只需要调整一个核心参数eps——也就是两个文本的向量距离达到多少时就不算相似,比如把eps设为0.2,就代表两个文本的余弦距离小于0.2就算同一组,几百行的文本量跑这个算法基本是毫秒级出结果,没有性能压力
  • 组内去重环节
    等所有文本都打上对应的组标签之后,按原始的时间顺序排序,用Pandas的groupby按组标签分组,取每组的第一条记录就行,这部分逻辑用两三行代码就能写完

实际效果验证

拿上面举的7条标题当测试集,这套流程跑下来刚好能达到预期效果:

  • 三个描述“孩子声称狗吃了作业”的标题,分词后共享的核心表意词汇很多,转成向量之后距离很近,会被自动分到同一组
  • 剩下的“狗狗为什么可爱”“狗狗为什么不喜欢鸡蛋”“老年流浪犬领养”“班伯里警方抓狗走私犯”这几条,因为核心表意差异很大,会各自形成单独的组,不会被误合并
实操小提醒
  • DBSCAN的eps参数不要设得太极端:参数调得太小,会把不相关的文本误判成相似;参数调得太大,又会把语义差异明显的文本合并到一组。几百行的数据量,手动调2-3次参数基本就能调到满意的效果
  • 几百行的文本量完全不需要上大模型做语义推理,轻量方案的速度和准确率完全能满足需求,没必要增加额外的运行成本

内容的提问来源于stack exchange,提问作者Gazzer

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 20:54:09