如何为已训练的MultinomialNB模型正确预处理新文本数据？

你的理解完全正确，预测新文本时报错的核心原因就是新文本生成的特征数和模型训练时的特征数不一致，问题出在CountVectorizer的使用方式上。

问题本质 #

训练阶段你用vectorizer.fit_transform(df['sentence'])时，fit操作让CountVectorizer根据训练数据生成了包含6328个词汇的固定词汇表，transform则是把训练文本转换成基于这个词汇表的特征矩阵。如果对新文本误用fit_transform，它会重新根据新文本生成新的小词汇表（比如单条新文本的词汇量很少），导致特征数远小于6328，模型自然无法识别。

正确操作流程 #

1. 训练阶段（必须保留训练用的CountVectorizer实例）

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# 初始化CountVectorizer
vectorizer = CountVectorizer()

# 用训练数据拟合vectorizer并转换特征（仅训练数据用fit_transform）
X_train = vectorizer.fit_transform(df['sentence'])
y_train = df['label']  # 你的二分类标签列

# 训练MultinomialNB模型
model = MultinomialNB()
model.fit(X_train, y_train)

# （推荐）保存vectorizer和模型，方便后续直接调用
import pickle
with open('vectorizer.pkl', 'wb') as f:
    pickle.dump(vectorizer, f)
with open('nb_model.pkl', 'wb') as f:
    pickle.dump(model, f)

2. 预测新文本阶段

# 加载保存好的vectorizer和模型（如果之前保存过）
import pickle
vectorizer = pickle.load(open('vectorizer.pkl', 'rb'))
model = pickle.load(open('nb_model.pkl', 'rb'))

# 处理新文本：只能用transform，绝对不能用fit_transform
new_text = ["这是一条测试文本：我的手机号是138xxxx1234"]
new_X = vectorizer.transform(new_text)

# 此时new_X的形状是(1, 6328)，完全匹配模型要求
print(new_X.shape)  # 输出 (1, 6328)

# 执行预测
y_pred = model.predict(new_X)
print(y_pred)  # 输出分类结果（0或1，对应是否包含个人数据）

关键注意点 #

• 训练和预测必须使用同一个CountVectorizer实例，不能重新初始化新的vectorizer，否则词汇表会不一致，特征数必然不匹配。
• 对新预测数据永远只用transform，它会沿用训练时生成的6328个特征的词汇表，保证输入格式和训练时一致。

内容的提问来源于stack exchange，提问作者Dmitriy Neledva