You need to enable JavaScript to run this app. 如何在pandas DataFrame中对相似新闻文本/文章进行分组并按发布日期排序
优惠活动
大模型
产品
解决方案
定价
更多

如何在pandas DataFrame中对相似新闻文本/文章进行分组并按发布日期排序

Pandas 新闻相似内容分组+组内排序实现方案

核心思路:将新闻文本信息(标题、关键词、内容拼接)转换为可计算相似度的向量特征,通过聚类算法自动划分相似组,最后按分组ID、发布日期排序得到结果。

前置依赖安装

需要安装的第三方库:

  • 基础版:pandas scikit-learn
  • 中文新闻额外需要:jieba(分词工具)
  • 语义增强版额外需要:sentence-transformers(预训练句向量模型,相似度匹配更精准)

基础版实现(TF-IDF + 聚类,轻量高速)

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans, DBSCAN

# ---------------------- 1. 数据预处理 ----------------------
# 拼接所有用于相似度计算的文本字段,特征越全分组越准
df['full_text'] = df['新闻标题'] + ' ' + df['关键词'] + ' ' + df['内容']

# 中文新闻需要先做分词,取消注释下方代码即可
# import jieba
# def cut_chinese_text(text):
#     return ' '.join(jieba.lcut(text))
# df['full_text'] = df['full_text'].apply(cut_chinese_text)

# ---------------------- 2. 文本转向量 ----------------------
# 英文文本用自带英文停用词,中文可传入自定义中文停用词列表替换stop_words参数
tfidf = TfidfVectorizer(stop_words='english')
text_matrix = tfidf.fit_transform(df['full_text'])

# ---------------------- 3. 相似内容聚类分组 ----------------------
# 方案A:KMeans,需提前指定分组数量n_clusters,适合提前知道大概相似组数量的场景
# 示例数据里共2类相似新闻(无人机相关、巴以冲突相关),所以设n_clusters=2
kmeans = KMeans(n_clusters=2, random_state=42)
df['similar_group_id'] = kmeans.fit_predict(text_matrix)

# 方案B:DBSCAN,无需提前指定分组数量,自动按相似度阈值分组,适合未知分组数量的场景
# eps参数控制相似度阈值,数值越小分组越细,可根据实际效果调整
# dbscan = DBSCAN(eps=0.7, min_samples=1, metric='cosine')
# df['similar_group_id'] = dbscan.fit_predict(text_matrix)

# ---------------------- 4. 组内按发布日期排序 ----------------------
# 先把发布日期转成pandas日期格式,避免字符串排序出错
df['发布日期'] = pd.to_datetime(df['发布日期'])
# 先按相似组ID升序,再按发布日期升序排列
result_df = df.sort_values(by=['similar_group_id', '发布日期'], ascending=[True, True]).reset_index(drop=True)

优化版实现(语义相似度更精准)

适合短文本、语义相似但用词差异大的场景,使用预训练句向量模型计算语义相似度:

from sentence_transformers import SentenceTransformer

# 加载多语言预训练模型,同时支持中英文
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
# 直接生成文本语义向量
text_matrix = model.encode(df['full_text'].tolist())

# 后续聚类、排序代码和基础版完全一致

示例数据输出说明

你的示例数据运行后会自动分为2个相似组:

  • 组0:id3(2020-10-10,无人机相关)、id1(2020-12-10,无人机相关),按发布日期升序排列
  • 组1:id4(2020-11-10,巴以相关)、id2(2020-12-10,巴以相关),按发布日期升序排列

内容的提问来源于stack exchange,提问作者Kanchan Sapkota

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 21:27:03