K-Means模型保存加载后始终预测同一聚类的问题排查

我之前做文本聚类项目时也踩过一模一样的坑——训练时labels_输出完全正常，保存加载后所有新数据的预测结果全是同一个聚类，换了GaussianMixture也没用。后来发现核心问题出在特征预处理的一致性和保存加载的规范上，给你一步步拆解解决方案：

一、必须保存的组件清单 #

你需要完整保存整个特征转换+聚类的流水线组件，少一个都不行：

• CountVectorizer：文本转词频矩阵的核心规则（停用词、ngram范围、词汇表等）
• TruncatedSVD：降维时学到的主成分映射关系（决定了特征空间的结构）
• 聚类模型（K-Means/GaussianMixture）：训练好的聚类中心或概率分布参数

二、正确的保存/加载方式（推荐用Joblib） #

Sklearn官方更推荐用joblib而非pickle来保存模型，尤其是处理大特征矩阵时效率更高。两种方案任选：

方案1：分步保存（适合需要单独调试组件的场景） #

# 训练完成后保存组件
import joblib

joblib.dump(count_vectorizer, "count_vec.pkl")
joblib.dump(svd_model, "svd.pkl")
joblib.dump(kmeans_model, "kmeans.pkl")

# 加载时按顺序读取
loaded_vec = joblib.load("count_vec.pkl")
loaded_svd = joblib.load("svd.pkl")
loaded_kmeans = joblib.load("kmeans.pkl")

方案2：用Pipeline打包整个流程（最稳妥，避免分步出错） #

把所有步骤串成一个流水线，直接保存整个流水线，加载后就能一键预测，完全不用手动处理转换顺序：

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import TruncatedSVD
from sklearn.cluster import KMeans
import joblib

# 构建流水线（用你实际的参数配置）
pipeline = Pipeline([
    ("vec", CountVectorizer(stop_words="english", ngram_range=(1,2))),
    ("svd", TruncatedSVD(n_components=100)),
    ("kmeans", KMeans(n_clusters=100, random_state=42))
])

# 训练流水线
pipeline.fit(your_text_corpus)

# 保存整个流水线
joblib.dump(pipeline, "text_clustering_pipeline.pkl")

# 加载后直接预测
loaded_pipeline = joblib.load("text_clustering_pipeline.pkl")
predictions = loaded_pipeline.predict(new_text_samples)

三、加载后的正确操作（关键！） #

如果用分步加载，绝对不能对新数据使用fit_transform，必须严格复用训练时的规则，只用transform：

# ❌ 错误示例：fit_transform会重新学习词汇表/主成分，导致特征空间和训练时不一致
# wrong_vec = loaded_vec.fit_transform(new_text)
# wrong_svd = loaded_svd.fit_transform(wrong_vec)

# ✅ 正确操作：用transform复用训练时的规则
correct_vec = loaded_vec.transform(new_text_samples)
correct_svd = loaded_svd.transform(correct_vec)
final_predictions = loaded_kmeans.predict(correct_svd)

四、异常排查步骤（针对你的情况） #

既然换GaussianMixture也有问题，说明问题不在聚类算法，而是特征转换环节：

1. 检查特征形状：取一条训练时的文本和一条新文本，分别经过vec和svd转换后，看输出的特征向量形状是否一致（比如都是(1, 100)），如果形状不同，说明加载的组件参数不对。
2. 验证特征值：随机选一条训练文本，加载组件后转换得到的向量，和训练时svd.transform(vec.transform([text]))的结果是否完全一致？如果不一致，说明组件保存/加载出了问题。
3. 检查版本兼容性：确认保存和加载时的Python、Sklearn版本是否一致，版本差异可能导致模型参数丢失（比如旧版本pickle无法正确加载新版本Sklearn的模型）。
4. 排查词汇表：打印loaded_vec.vocabulary_，看是否和训练时的词汇表一致，如果为空或缺失，说明CountVectorizer没保存成功。

内容的提问来源于stack exchange，提问作者taga