基于SentenceTransformer的句子聚类：阈值适配、分类与命名问询

1. 是否需要针对新数据集调整阈值？ #

是的，必须针对新数据集调整阈值。不同数据集的语义分布、主题差异度完全不同：

• 如果新数据集的主题边界清晰、同主题文本语义高度一致，阈值可以适当调高；
• 如果新数据集主题跨度大、同主题内文本语义差异明显，阈值就得调低。
  实操中可以用肘部法辅助：统计不同阈值下的聚类数量，找到聚类数量趋于稳定的拐点作为参考；也可以抽样人工验证，对比不同阈值的聚类结果，选出最贴合业务需求的阈值。

2. 如何将通用消息归类至‘通用分类’？ #

有两种落地性强的方案：

• 前置匹配法：先收集一批通用消息样本，用all-MiniLM-L6-v2生成它们的嵌入向量并计算中心向量。对每个待处理文本，先计算其向量与通用类中心向量的相似度，若超过设定阈值（可略高于聚类阈值），直接划入通用类；剩余文本再进入util.community_detection聚类流程。
• 后置过滤法：先完成全量文本聚类，再对每个聚类做校验：
  • 计算类内向量的平均余弦相似度，若远低于其他聚类的平均水平，说明类内主题杂乱，将其划入通用类；
  • 对于min_cluster_size=1的孤立样本，若这类样本多为无明确主题的通用消息，直接归为通用类。

3. 如何为聚类生成精准的类别名称？ #

可以通过以下三种方法实现：

• 关键词投票法：对聚类内所有文本，用TF-IDF或RAKE提取高频关键词，统计关键词出现频次，取Top3-5的核心关键词组合成类别名称（比如聚类文本多涉及账单查询、缴费逾期，提取“账单”“缴费”“逾期”，组合为“账单问题”）。
• 预定义标签匹配法：先预定义一批业务相关的主题标签（如“账单问题”“网络性能”），用模型生成这些标签的嵌入向量；计算每个聚类的中心向量，与预定义标签向量做余弦相似度匹配，取相似度最高的标签作为聚类名称；若没有高匹配度的标签，再用关键词法补充。
• 大语言模型总结法：将聚类内的文本摘要输入大语言模型，用简洁提示要求生成主题名称，比如：“请用2-4字短语总结以下文本的核心主题：[聚类文本列表]”，生成的名称更符合自然语言表达习惯。

内容的提问来源于stack exchange，提问作者eashwar natarajan