如何加快Python环境下K-Means文本聚类算法的运行速度

你的整套文本聚类流程属于行业通用的标准实现，没有根本性错误。200份文档的量级跑完需要1小时，完全是参数配置、向量化环节的冗余导致的，调整后可以大幅压缩耗时。

• 向量化维度压缩：你目前没有限制向量化的特征维度，单份200页的文档生成的向量维度很容易达到数万甚至更高，稀疏矩阵运算效率极低。可以给Vectorizer加max_features=1000~2000参数，仅保留全局出现频率最高的1000-2000个有效词作为特征，对聚类精度的影响极小，矩阵体积可以缩小几十倍。如果是用TF-IDF向量化，还可以加min_df=2参数，过滤掉只在1份文档里出现的孤立低频词，进一步压缩维度。
• KMeans参数优化：你当前配置的n_init=30代表算法会随机初始化30次质心，选效果最好的一次输出，这个配置对于大样本量场景才需要，200份文档的量级改成n_init=3~5就完全够用，仅这一项就能把KMeans运算时间降到原来的1/10。另外可以先通过TruncatedSVD把高维文本向量降到50-100维后再喂给KMeans，既可以过滤噪声提升聚类精度，也能进一步加快运算速度。
• 预处理环节优化：词形还原、停用词过滤之后可以额外加一步标点、特殊符号、数字的批量移除，进一步减少无效特征。

不需要修改现有流程框架，直接替换聚类类即可实现提速：

• MiniBatchKMeans：sklearn自带的轻量KMeans实现，每次用小批量样本更新质心，速度是普通KMeans的3-10倍，200份文档的量级下精度损失几乎可以忽略，直接替换你代码里的KMeans类即可使用。
• 层次聚类：如果你的聚类簇数不多（通常小于20），可以先预计算所有文档向量的余弦相似度矩阵，再基于相似度做层次聚类，运算速度比当前配置的KMeans快很多，聚类结果的可解释性也更强。
• DBSCAN：如果你不需要提前指定聚类簇数，DBSCAN对高维稀疏文本的运算效率也很高，还能自动识别出不属于任何分组的异常文档。

按照上述方案调整后，200份文档的全流程聚类耗时可以降到5分钟以内，完全满足你的使用需求。

内容的提问来源于stack exchange，提问作者James Cornod