我太懂你这种卡了好几小时还没出结果的痛苦——35k样本的全相似矩阵去跑层次聚类，光是那个35k×35k的浮点矩阵内存占用就够夸张，更别提层次聚类本身O(n²)的时间复杂度，完全顶不住。给你几个绕开维度灾难、效率拉满的替代方案：

1. 先降维，再用轻量聚类算法 #

层次聚类对样本量和特征维度都极其敏感，先把高维TF-IDF向量压缩到低维空间，再用K-Means、HDBSCAN这类高效算法：

• 操作逻辑：用适合文本的降维方法（比如LSA/LSI）把上万维的TF-IDF向量压到几十/几百维，再交给聚类算法处理
• 代码示例：

from sklearn.decomposition import TruncatedSVD
from sklearn.cluster import KMeans
from gensim.matutils import corpus2csc

# 把gensim的TF-IDF语料转换成sklearn兼容的稀疏矩阵
tfidf_matrix = corpus2csc(tf_idf[corpus]).T  # 转换成(n_samples, n_features)格式

# 降维到100维（可根据效果调整）
svd = TruncatedSVD(n_components=100, random_state=42)
reduced_vectors = svd.fit_transform(tfidf_matrix)

# 用K-Means聚类（聚类数可通过肘部法选择，或换HDBSCAN自动识别）
kmeans = KMeans(n_clusters=50, random_state=42)
labels = kmeans.fit_predict(reduced_vectors)

• 优势：降维后特征数大幅减少，K-Means的时间复杂度是O(nkd)，比层次聚类快几个数量级，35k样本几分钟就能跑完。

2. 用局部近邻类算法，跳过全相似矩阵计算 #

DBSCAN、HDBSCAN这类算法不需要计算所有样本对的距离，只关注每个样本的局部近邻，完全避免生成35k×35k的巨型矩阵：

• 操作逻辑：直接用降维后的向量（甚至原始TF-IDF稀疏矩阵）喂给HDBSCAN，它会自动识别聚类结构，不用预设聚类数
• 代码示例：

import hdbscan

# 用降维后的向量进行聚类，min_cluster_size根据你的商品品类密度调整
clusterer = hdbscan.HDBSCAN(min_cluster_size=10, metric='cosine')
labels = clusterer.fit_predict(reduced_vectors)

• 优势：内存占用极低，还能自动识别噪声点（比如小众冷门商品），非常贴合库存商品的场景。

3. 用语义向量替代TF-IDF，天生低维 #

TF-IDF是词袋模型，语义表达有限，换成Doc2Vec或者LDA生成低维语义向量，再聚类：

• Doc2Vec方案代码示例：

from gensim.models.doc2vec import Doc2Vec, TaggedDocument
from sklearn.cluster import KMeans

# 准备带标签的文档数据
tagged_docs = [TaggedDocument(words=doc, tags=[i]) for i, doc in enumerate(gen_docs)]

# 训练Doc2Vec模型，生成固定维度的语义向量
model = Doc2Vec(vector_size=100, min_count=2, epochs=40, workers=4)
model.build_vocab(tagged_docs)
model.train(tagged_docs, total_examples=model.corpus_count, epochs=model.epochs)

# 获取所有商品描述的语义向量
doc_vectors = [model.dv[i] for i in range(len(gen_docs))]

# 用K-Means聚类
kmeans = KMeans(n_clusters=50, random_state=42)
labels = kmeans.fit_predict(doc_vectors)

• 优势：Doc2Vec能捕捉文本的语义关联，比TF-IDF更适合商品短描述，生成的向量维度固定，聚类效率拉满。

4. 近似近邻+图聚类，减少相似计算量 #

如果一定要基于相似度聚类，可以用近似近邻库（Annoy/Faiss）只计算每个样本的Top-N相似样本，再用图聚类算法（比如Louvain）划分社区：

• 代码示例（用Annoy）：

from annoy import AnnoyIndex
import community as community_louvain
import networkx as nx

# 用降维后的向量构建近似近邻索引
dim = reduced_vectors.shape[1]
index = AnnoyIndex(dim, 'angular')  # angular距离对应cosine相似度
for i, vec in enumerate(reduced_vectors):
    index.add_item(i, vec)
index.build(10)  # 树的数量，越大准确率越高

# 构建近邻图
G = nx.Graph()
for i in range(len(reduced_vectors)):
    # 取每个样本的Top20近邻
    neighbors = index.get_nns_by_item(i, 20)
    for j in neighbors:
        if i != j:
            G.add_edge(i, j)

# 用Louvain算法做社区检测（即聚类）
partition = community_louvain.best_partition(G)
labels = [partition[i] for i in range(len(reduced_vectors))]

• 优势：近似近邻的时间/内存复杂度是O(n log n)，远低于全矩阵的O(n²)，适合大样本量的相似度聚类需求。

内容的提问来源于stack exchange，提问作者Sorinescobar