如何在pandas DataFrame中对相似新闻文本/文章进行分组并按发布日期排序
Pandas 新闻相似内容分组+组内排序实现方案
核心思路:将新闻文本信息(标题、关键词、内容拼接)转换为可计算相似度的向量特征,通过聚类算法自动划分相似组,最后按分组ID、发布日期排序得到结果。
前置依赖安装
需要安装的第三方库:
- 基础版:
pandasscikit-learn - 中文新闻额外需要:
jieba(分词工具) - 语义增强版额外需要:
sentence-transformers(预训练句向量模型,相似度匹配更精准)
基础版实现(TF-IDF + 聚类,轻量高速)
import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans, DBSCAN # ---------------------- 1. 数据预处理 ---------------------- # 拼接所有用于相似度计算的文本字段,特征越全分组越准 df['full_text'] = df['新闻标题'] + ' ' + df['关键词'] + ' ' + df['内容'] # 中文新闻需要先做分词,取消注释下方代码即可 # import jieba # def cut_chinese_text(text): # return ' '.join(jieba.lcut(text)) # df['full_text'] = df['full_text'].apply(cut_chinese_text) # ---------------------- 2. 文本转向量 ---------------------- # 英文文本用自带英文停用词,中文可传入自定义中文停用词列表替换stop_words参数 tfidf = TfidfVectorizer(stop_words='english') text_matrix = tfidf.fit_transform(df['full_text']) # ---------------------- 3. 相似内容聚类分组 ---------------------- # 方案A:KMeans,需提前指定分组数量n_clusters,适合提前知道大概相似组数量的场景 # 示例数据里共2类相似新闻(无人机相关、巴以冲突相关),所以设n_clusters=2 kmeans = KMeans(n_clusters=2, random_state=42) df['similar_group_id'] = kmeans.fit_predict(text_matrix) # 方案B:DBSCAN,无需提前指定分组数量,自动按相似度阈值分组,适合未知分组数量的场景 # eps参数控制相似度阈值,数值越小分组越细,可根据实际效果调整 # dbscan = DBSCAN(eps=0.7, min_samples=1, metric='cosine') # df['similar_group_id'] = dbscan.fit_predict(text_matrix) # ---------------------- 4. 组内按发布日期排序 ---------------------- # 先把发布日期转成pandas日期格式,避免字符串排序出错 df['发布日期'] = pd.to_datetime(df['发布日期']) # 先按相似组ID升序,再按发布日期升序排列 result_df = df.sort_values(by=['similar_group_id', '发布日期'], ascending=[True, True]).reset_index(drop=True)
优化版实现(语义相似度更精准)
适合短文本、语义相似但用词差异大的场景,使用预训练句向量模型计算语义相似度:
from sentence_transformers import SentenceTransformer # 加载多语言预训练模型,同时支持中英文 model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') # 直接生成文本语义向量 text_matrix = model.encode(df['full_text'].tolist()) # 后续聚类、排序代码和基础版完全一致
示例数据输出说明
你的示例数据运行后会自动分为2个相似组:
- 组0:id3(2020-10-10,无人机相关)、id1(2020-12-10,无人机相关),按发布日期升序排列
- 组1:id4(2020-11-10,巴以相关)、id2(2020-12-10,巴以相关),按发布日期升序排列
内容的提问来源于stack exchange,提问作者Kanchan Sapkota
相关产品推荐
相关产品推荐

