UMAP降维后HDBScan聚类结果不稳定的原因及解决方法

UMAP出现双峰差异的核心原因 #

UMAP的随机性并非"小波动"，而是在特定数据分布下可能触发两种完全不同的降维布局，根源在于：

1. 初始布局的随机种子敏感性：UMAP从随机初始化的低维布局开始优化，如果你的BERT嵌入本身存在"多模态"结构（比如大量小簇和少数大簇共存），不同的随机初始点可能收敛到完全不同的局部最优——一种保留了细粒度簇结构，另一种则把小簇合并成几个大密度块。
2. 近似近邻搜索的不确定性：UMAP默认用近似近邻算法（如Annoy）加速计算，40K数据量下，不同运行可能找到不同的近邻集合；当高维嵌入的近邻边界模糊时，这种差异会被放大，直接导致降维后的数据结构剧变。

确保稳定得到100+聚类的实操方案 #

1. 固定UMAP随机种子（最直接有效） #

强制UMAP每次用相同的随机初始化和近邻搜索种子，消除运行间的随机差异。示例代码：

import umap
reducer = umap.UMAP(
    random_state=42,  # 固定种子，可尝试多个值找到稳定的那个
    # 保留你的其他原有参数
)
embedding = reducer.fit_transform(bert_embeddings)

注意：需验证该种子对应的降维结果能稳定输出100+聚类，若某个种子仍出现异常，更换种子即可。

2. 调整UMAP参数增强降维稳定性 #

• 增大n_neighbors：提升近邻搜索的鲁棒性，建议设置为20-50（根据数据规模调整），让局部结构的捕捉更稳定，减少随机近邻的干扰。
• 降低min_dist：设置为0.01-0.1，让降维后的簇更紧凑，避免小簇被打散或合并成大区块。
• 启用精确近邻搜索：如果计算资源允许（40K数据量完全可行），关闭近似算法，消除近邻搜索的随机性：

  reducer = umap.UMAP(
      force_approximation_algorithm=False,
      metric='euclidean',  # 精确搜索仅支持部分度量，欧氏距离最稳妥
      random_state=42
  )
  

3. 优化HDBScan的簇识别能力 #

• 调整min_samples参数：设置为min_cluster_size的1/2到1/3（比如min_cluster_size=20时，min_samples=7-10），让HDBScan更敏感地识别小簇，避免因降维的微小波动就将小簇归为噪声或合并。
• 过滤噪声点：先将HDBScan标记的噪声点单独处理，避免噪声干扰大簇形成，确保小簇能被正常识别。

4. 预处理BERT嵌入降低噪声 #

对微调后的BERT嵌入先做PCA降维，比如降到50-100维，再输入UMAP。高维嵌入的冗余信息会放大UMAP的随机性，PCA能有效过滤噪声，让UMAP的降维目标更清晰。

内容的提问来源于stack exchange，提问作者TKR