有无通用在线算法可实现新闻动态分类与聚类？

Hey there! 我把你的突发新闻动态聚类需求和当前算法步骤整理成结构化的Markdown，同时补充了一些实用优化建议，方便你后续迭代：

核心背景与需求 #

• 已拥有按主题分类的海量新闻数据集，每个主题对应一个独立聚类
• 核心目标：实现突发新闻的自动分类，同时支持动态生成新主题/聚类

当前算法执行步骤 #

1. 遍历预设的新闻网站信息流源，识别待处理的新闻链接
2. 针对每个新链接，使用dragnet工具提取新闻正文内容，随后执行分词（tokenize）操作
3. 计算特征向量r...（这里你提到的步骤未完成，建议明确是基于TF-IDF、词向量还是其他方式生成向量）

实用优化建议 #

• 向量表征优化：如果用传统方法，推荐用TF-IDF结合停用词过滤生成文本向量；追求语义准确性的话，可采用预训练语言模型（如BERT）提取上下文嵌入向量
• 动态聚类策略：全量聚类效率太低，建议使用增量聚类算法（如增量DBSCAN、Birch），仅针对新加入的突发新闻进行聚类更新，必要时触发新主题的生成
• 突发新闻识别：可加入时间维度权重，对近期发布的新闻赋予更高权重，同时结合关键词热度突增检测（比如对比历史词频），快速识别潜在突发主题

内容的提问来源于stack exchange，提问作者Federico Caccia