SBERT嵌入向量聚类：KMeans与1-余弦方法是否有效？求最优方案

两种常见方法的有效性说明 #

1. 欧氏距离版KMeans #

这种方法有效，原因在于：

• SBERT生成的语义嵌入向量，核心语义信息体现在向量方向而非模长。多数场景下会对SBERT向量做L2归一化，此时向量的欧氏距离平方等于2*(1-余弦相似度)，二者呈严格单调负相关——欧氏距离越小，余弦相似度越高，语义越接近。这种情况下用欧氏距离的KMeans，本质和基于余弦相似度的聚类逻辑一致。
• 即使没做归一化，SBERT向量的模长差异通常很小（训练目标聚焦语义匹配，模长不会大幅波动），欧氏距离依然能在很大程度上反映语义差异，实践中聚类效果不会太差。

2. 用(1-余弦)替代距离的方法 #

这种方法实践中有效，虽然(1-余弦)不满足距离公理中的三角不等式，但聚类算法并非都严格依赖完整的距离公理：

• KMeans这类算法的核心是最小化"样本到质心的误差平方和"，只要所用指标能有效衡量样本间的相似性/差异性，就能驱动算法收敛到合理结果。(1-余弦)直接对应语义相似度的反向值，完美贴合SBERT向量的语义特性，实际聚类效果往往不错。
• 很多工具库（比如nltk）里的cosine_distance本质就是用1-余弦计算，在语义聚类场景下已经被大量验证过效果。

更贴合SBERT特性的聚类方案 #

如果想要更精准的聚类效果，优先考虑以下方案：

• 先归一化再用KMeans：对SBERT向量做L2归一化后，直接用普通KMeans（欧氏距离），效果等价于基于余弦相似度的聚类，实现简单且高效。
• 球形KMeans（Spherical KMeans）：专门为归一化向量设计的算法，目标是最大化簇内样本与质心的余弦相似度，完全贴合SBERT向量的语义特性，比普通KMeans更适配。
• 层次聚类+余弦相似度：适合不需要提前指定聚类数量的场景，直接以余弦相似度作为合并/分裂的依据，能得到更具解释性的聚类层级结构。
• DBSCAN+余弦相似度：如果数据聚类形状不规则且不确定聚类数量，可以用DBSCAN，将邻域判定指标换成余弦相似度（设置eps为1-目标相似度阈值，比如eps=0.2代表只把余弦相似度≥0.8的样本归为一类）。

内容的提问来源于stack exchange，提问作者Alex Jax