文本分类预测遇ValueError：测试集词向量形状不符，能否不用Pipeline？

你当然可以按之前的拆分式写法编写代码，问题出在测试集的TF-IDF处理逻辑上，我来帮你理清楚前因后果：

为什么会触发维度不匹配的错误？ #

你在处理测试集时调用了ifidf_vectorizer.fit_transform(X_test)，这一步会重新对测试集文本拟合新的TF-IDF词汇表——相当于完全忽略了训练集已经生成的16维特征规则，导致测试集生成了12维的全新特征空间。而你的分类器clf是基于16维特征训练的，自然无法识别陌生的12维输入，所以抛出ValueError。

修正后的手动拆分写法 #

只需要把测试集的fit_transform改成transform即可，这样会复用训练集拟合好的词汇表，保证特征维度和训练阶段完全一致：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC

# 训练集处理：拟合词汇表+转换特征
tfidf_vectorizer = TfidfVectorizer()  # 注意你之前的变量名笔误：ifidf -> tfidf
X_train_tfidf = tfidf_vectorizer.fit_transform(X_train)
print(X_train_tfidf.shape)  # (3, 16)

# 训练分类器
clf = LinearSVC()
clf.fit(X_train_tfidf, y_train)

# 测试集处理：仅转换（复用训练集的词汇表规则）
X_test_tfidf = tfidf_vectorizer.transform(X_test)
print(X_test_tfidf.shape)  # 现在会输出(2, 16)，和训练集维度匹配

# 正常预测
predictions = clf.predict(X_test_tfidf)

为什么Pipeline能正常运行？ #

Pipeline的核心作用就是把多个流程步骤（比如TF-IDF转换、分类器训练）绑定成一个整体。当你用Pipeline处理测试集时，它会自动调用每个步骤的transform方法（而非fit_transform），强制复用训练阶段拟合好的所有参数（包括TF-IDF的词汇表），从根源上避免了手动拆分时容易犯的“重复拟合”错误。

简单来说，Pipeline是帮你封装了正确的流程逻辑，但手动拆分写法只要注意测试集只用transform，完全可以正常工作。

内容的提问来源于stack exchange，提问作者Sachin84