基于Embedding距离的文本筛选：该方法是否可行？Cosine/IP与L2孰优？

1. 基于Embedding和距离的方法完全可以用于相似新闻筛选 #

这套思路是可行的：

• DistilBert这类预训练语言模型生成的Embedding本身就是为了捕捉文本的语义特征，能精准反映新闻的主题、内容倾向；
• Faiss和Milvus的向量近邻搜索能力，可快速在你的30篇种子文章Embedding库中，找到与新文章语义最接近的样本；
• 通过设置距离/相似度阈值实现“保留/丢弃”的逻辑，本质是基于语义相似度的二分类，无需额外训练分类模型，完全符合你“无需持续训练”的需求。

虽然种子文章仅有30篇，但只要这些文章是你真正喜爱、覆盖了感兴趣核心主题的内容，就足以作为筛选基准——后续还可以逐步把符合阈值的新文章加入种子库，进一步提升筛选精准度。

2. Cosine相似度（或内积IP）比L2更适合这个场景 #

两者核心差异在于对向量长度的敏感度：

• 对于DistilBert生成的文本Embedding，向量方向代表语义，长度通常无实际意义（比如长新闻和同主题短新闻的Embedding方向一致，但长度可能不同）；
• Cosine相似度（或归一化后的内积IP）只关注向量的方向差异，完全忽略长度影响，能精准衡量两篇新闻的语义相似度，完美匹配你“找同类内容”的需求；
• L2距离会同时受向量方向和长度的影响，可能把篇幅差异大但语义相近的新闻误判为不相似，因此在这个场景下不如Cosine/IP合适。

额外说明：如果你的DistilBert输出未做归一化，建议先对所有Embedding做L2归一化，此时内积IP就等价于Cosine相似度，还能提升计算效率。

内容的提问来源于stack exchange，提问作者Tailor Johnson