使用chatintents文本聚类时聚类数量与设定范围不符的问题

我用ChatIntents做自动文本聚类，采用Sentence Transformers生成句子嵌入。已经设置了聚类数量的上下限（label_lower=20，label_upper=30），但实际运行后聚类数量要么远低于下限（比如本次只得到3个聚类），要么远高于上限（比如超过100个）。

相关代码 #

X = model.encode(utterances["FCD_COG_INPUT_TEXT"].to_list()) 

hspace = {
    "n_neighbors": hp.choice('n_neighbors', range(3,16)),
    "n_components": hp.choice('n_components', range(100,115)),
    "min_cluster_size": hp.choice('min_cluster_size', range(50,65)),
    "random_state": 42
}

label_lower = 20
label_upper = 30
max_evals = 100

best_params_use, best_clusters_use, trials_use = bayesian_search(X, 
                                                                 space=hspace, 
                                                                 label_lower=label_lower, 
                                                                 label_upper=label_upper, 
                                                                 max_evals=max_evals) 

本次运行结果 #

100%|██████████| 100/100 [59:49<00:00, 35.90s/trial, best loss: 0.15540102619497703] 
best:
{'min_cluster_size': 51, 'n_components': 106, 'n_neighbors': 7, 'random_state': 42}
label count: 3 

解决思路 #

• 调整参数搜索范围：
  • 当前min_cluster_size设为50-65，数值偏大，容易促使大聚类合并，减少总聚类数。可尝试缩小范围至10-30，让算法能识别更多小聚类。
  • n_neighbors（3-16）和n_components（100-115）的搜索范围可能无法覆盖产生20-30聚类的参数组合。建议扩大n_components范围至50-150，调整n_neighbors至5-20，增加参数搜索的可能性。
• 强化损失函数的聚类数量约束：
  检查ChatIntents中bayesian_search的损失函数实现，调高聚类数量偏离阈值的惩罚权重，让算法优先选择符合数量要求的参数组合。
• 清洗输入数据：
  排查输入文本是否存在大量重复、无意义噪音，或主题分布极端不均的情况。这类数据会干扰聚类效果，建议先做去重、过滤无效文本、统一格式等预处理操作。
• 更换适配的嵌入模型：
  当前使用的Sentence Transformers模型可能对目标数据集的区分度不足。可尝试对话场景优化的模型（如all-MiniLM-L12-v2）或领域特定预训练模型，提升嵌入向量的区分度，帮助聚类生成目标数量的簇。
• 添加硬约束后处理：
  如果贝叶斯搜索的软约束失效，可在得到聚类结果后手动调整：对聚类数过少的结果，用层次聚类拆分大簇；对聚类数过多的结果，合并相似簇。也可换用支持直接指定聚类数的算法（如K-Means）结合贝叶斯搜索，同时注意K-Means对初始 centroids 的敏感性问题。

内容的提问来源于stack exchange，提问作者Valentin Colella