如何使用已保存的NLTK Naive Bayes模型进行文本分类测试？

嘿，这事儿超简单的，我给你一步步捋清楚怎么用你保存好的模型预测新文本！

首先得划个重点：预测新文本的预处理流程必须和训练模型时完全一致，不然模型根本看不懂你的输入，结果肯定不准哦。

步骤1：加载保存的模型和预处理工具 #

首先用pickle把之前存的模型拽回来，另外你训练时用的特征提取逻辑（比如分词、去停用词这些）必须原封不动复用，要是当时你把特征相关的字典或者工具也存了，也要一起加载。

举个实际的例子，假设你训练时是这么搞的（大概流程）：

import nltk
from nltk.corpus import stopwords
from nltk.classify import NaiveBayesClassifier
import pickle

# 训练时的预处理函数——把文本转成模型能认的特征格式
def extract_features(text):
    # 先分词
    words = nltk.word_tokenize(text)
    # 加载英文停用词
    stop_words = set(stopwords.words('english'))
    # 清洗词：转小写、去掉停用词、只留纯字母的词
    cleaned_words = [word.lower() for word in words if word not in stop_words and word.isalpha()]
    # 转成模型需要的字典格式
    return dict([(word, True) for word in cleaned_words])

# 假设你已经准备好训练数据train_data，格式是[(特征字典, 分类标签), ...]
classifier = NaiveBayesClassifier.train(train_data)

# 把模型存到文件里
with open('naive_bayes_classifier.pkl', 'wb') as f:
    pickle.dump(classifier, f)

那加载的时候就这么写：

import pickle
import nltk
from nltk.corpus import stopwords

# 加载保存好的模型
with open('naive_bayes_classifier.pkl', 'rb') as f:
    classifier = pickle.load(f)

# 必须完全复用训练时的特征提取函数，半点儿不能改！
def extract_features(text):
    words = nltk.word_tokenize(text)
    stop_words = set(stopwords.words('english'))
    cleaned_words = [word.lower() for word in words if word not in stop_words and word.isalpha()]
    return dict([(word, True) for word in cleaned_words])

步骤2：对新文本做预测 #

现在就可以拿你说的那个句子来测试啦：

test_sentence = "Ronaldo have scored 2 goals against Egypt"
# 先把句子转成模型能处理的特征格式
test_features = extract_features(test_sentence)
# 调用模型的classify方法得到分类结果
predicted_label = classifier.classify(test_features)
print(predicted_label)  # 这里就会输出你想要的'sport'啦

额外小福利：查看模型的分类信心 #

要是你想知道模型对这个结果有多确定，可以用prob_classify方法看概率：

prob_dist = classifier.prob_classify(test_features)
# 查看sport分类的概率
print(f"这个句子属于'sport'的概率: {prob_dist.prob('sport'):.2f}")
# 还能看所有可能分类的概率分布
for label in prob_dist.samples():
    print(f"{label}分类的概率: {prob_dist.prob(label):.2f}")

一定要注意的坑 #

• 预处理步骤必须和训练时一模一样：比如训练时转了小写、去了停用词、过滤了数字，那预测时也得这么做，不然特征不匹配，模型就瞎猜了。
• 要是训练时用了TF-IDF这类更复杂的特征提取，记得把TF-IDF的转换器（比如TfidfVectorizer）也用pickle保存下来，加载后先对新文本做TF-IDF转换，再传给模型。

内容的提问来源于stack exchange，提问作者Tuấn Mạnh Nguyễn