使用Naive Bayes预测时出现维度不匹配错误求助

嘿，这个维度不匹配的问题在文本分类里简直是高频踩坑点，我帮你拆解下可能的原因和对应的解决办法：

1. 特征提取器（Vectorizer）没和模型一起复用 #

这是最常见的坑！你训练模型时肯定用了CountVectorizer或者TfidfVectorizer把文本转成特征矩阵对吧？这个Vectorizer里存着训练数据的词汇表（也就是哪些词对应特征矩阵的哪一列）。如果预测时你重新初始化了一个新的Vectorizer，或者没加载训练时用的那个，新生成的特征矩阵维度绝对和模型训练时的不一样，直接就会报错。

解决办法：

• 训练时，把Vectorizer和Naive Bayes模型一起保存成Pickle对象：

  import pickle
  
  # 假设vec是你训练用的CountVectorizer/TfidfVectorizer
  # nb是训练好的Naive Bayes模型
  with open('sentiment_model.pkl', 'wb') as f:
      pickle.dump((vec, nb), f)
  

• 预测时，先加载Vectorizer和模型，用同一个Vectorizer处理新文本：

  with open('sentiment_model.pkl', 'rb') as f:
      vec, nb = pickle.load(f)
  
  # 处理新评论
  new_review = "你的新评论文本"
  # 重点：用vec.transform，绝对不能用fit_transform！
  transformed_review = vec.transform([new_review])
  preds = nb.predict(transformed_review)[0]
  

  划重点：预测时一定不能用fit_transform，fit会重新学习词汇表，直接导致特征维度和模型训练时不匹配。

2. 新文本的预处理和训练时不一致 #

你提到用了SnowballStemmer，那训练时对文本做的所有预处理步骤（比如转小写、去标点、过滤停用词、词干提取），预测新文本时必须完全照搬，不能少任何一步。比如训练时你把所有单词转成了小写，预测时新评论没转，那Vectorizer会把大写的词当成新词汇，直接打乱特征维度。

举个预处理函数的例子，训练时你可能写了这样的逻辑：

from nltk.stem import SnowballStemmer
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
import re

def preprocess_text(text):
    # 转小写
    text = text.lower()
    # 去除标点符号
    text = re.sub(r'[^\w\s]', '', text)
    # 分词
    words = word_tokenize(text)
    # 过滤停用词
    stop_words = set(stopwords.words('english'))
    words = [w for w in words if w not in stop_words]
    # 词干提取
    sno = SnowballStemmer("english")
    words = [sno.stem(w) for w in words]
    return ' '.join(words)

那预测新评论时，必须用同一个preprocess_text函数处理，不然生成的文本特征和训练时的不匹配，也会触发维度错误。

3. 输入特征矩阵的形状不对 #

如果你的transformed_review是一维数组，而模型期望的是二维数组（每个样本占一行），也会报维度错误。比如你直接传入了单个字符串，没放到列表里：

# 错误：直接传单个字符串，transform后是一维数组
transformed_review = vec.transform(new_review)
# 正确：把单个字符串放进列表，transform后是二维数组（shape=(1, n_features)）
transformed_review = vec.transform([new_review])

你可以打印transformed_review.shape看看，正常应该是(1, 特征数)，如果是(特征数,)那就是形状错了。

快速排查清单 #

1. 确认训练时的Vectorizer和模型一起保存并正确加载
2. 确认新文本的预处理流程和训练时完全一致
3. 确认transform后的特征矩阵是二维的（单个样本也要用列表包裹）

按这几步排查下来，应该就能解决这个维度不匹配的问题啦！

内容的提问来源于stack exchange，提问作者Nika