使用默认BERTopic时超1/3文档归为-1异常主题，如何优化？

我当前使用默认配置运行BERTopic，代码如下：

import pandas as pd
from sentence_transformers import SentenceTransformer
import time
import pickle
from bertopic import BERTopic

llm_mod =  "all-MiniLM-L6-v2"
model = SentenceTransformer(llm_mod)

embeddings = model.encode(skills_augmented, show_progress_bar=True)
bertopic_model = BERTopic(verbose=True)

我的数据集包含40000条单句短文档，主题分布中-1类（异常值）有13573条，前5个主题分布如下：

-1      13573
 0       1593
 1       1043
 2        628
 3        627

想请教三个问题：

1. 是否有参数可减少-1类文档的数量？
2. 能否让主题分布更均匀？
3. 使用KMeans是否更好？

1. 减少-1类文档的参数调整 #

• 调整min_topic_size：默认值为10，可适当降低（比如设为5），让更小的聚类被识别为有效主题，避免被归为-1。注意不要降得过低，否则会生成大量无意义的小主题。
• 设置nr_topics：指定一个具体的目标主题数量（比如50），BERTopic会尝试合并小主题、重新分配异常值到现有主题，从而减少-1类占比。
• 启用概率计算并重新分配异常值：初始化模型时设置calculate_probabilities=True，训练后用reduce_outliers()方法基于文档的主题概率，将-1类文档重新分配到最相近的主题。示例代码：

  bertopic_model = BERTopic(verbose=True, calculate_probabilities=True)
  topics, probs = bertopic_model.fit_transform(skills_augmented, embeddings)
  # 重新分配异常值
  new_topics = bertopic_model.reduce_outliers(skills_augmented, topics)
  

• 更换嵌入模型：all-MiniLM-L6-v2属于轻量模型，换成语义捕捉能力更强的模型（如all-mpnet-base-v2），能提升聚类效果，减少异常值产生。

2. 让主题分布更均匀的方法 #

• 用nr_topics强制主题数量：设置目标主题数后，BERTopic会通过合并大主题、拆分小主题调整分布，效果依赖数据本身的语义分布。
• 组合调整min_topic_size和max_topic_size：限制单个主题的最大文档数，同时降低最小主题数，迫使模型拆分大主题、保留小主题，平衡分布。
• 层级聚类优化：使用hierarchical_topics()生成层级主题结构，手动合并或拆分主题，调整分布比例。
• 后处理手动调整：训练完成后，对过大的主题用split_topic()拆分，对过小的主题用merge_topics()合并，手动优化主题分布。

3. KMeans是否更适合？ #

KMeans是硬聚类算法，每个文档会被强制分配到一个主题，不会产生-1类，但存在明显局限性：

• KMeans需要提前指定n_clusters，若数值不合适，主题质量会大幅下降；而BERTopic可自动优化主题数量。
• KMeans基于欧氏距离聚类，对高维嵌入的效果远不如BERTopic的UMAP+HDBSCAN组合（UMAP降维保留语义结构，HDBSCAN能识别任意形状的聚类并过滤异常值）。
• 若完全无法接受-1类，KMeans可作为替代，但主题的语义连贯性和质量通常不如BERTopic。优先调整BERTopic参数而非更换算法。

内容的提问来源于stack exchange，提问作者RM-