如何将字符串中的n-gram与词频转换为向量以构建SVM模型

嘿，刚好之前做过类似的短文本分类任务，用NLTK+scikit-learn就能完美搞定你提到的所有需求——词形还原（统一"Important"这类变形词）、词频+2-4元n-gram特征、向量转换还有SVM模型，下面是一套针对10-20词短文本优化过的完整实现方案：

1. 先安装并准备依赖库 #

首先得确保装了核心库，还要下载NLTK的必要数据集：

pip install nltk scikit-learn

然后在Python中初始化NLTK资源：

import nltk
nltk.download('punkt')  # 分词用
nltk.download('wordnet')  # 词形还原用
nltk.download('stopwords')  # 过滤停用词用

2. 文本预处理（含词形还原优化） #

短文本的特征一致性非常重要，这里用词形还原（比单纯词干提取更精准，能把"Important"、"Importance"统一成词根），再搭配停用词和标点过滤：

from nltk.tokenize import word_tokenize
from nltk.stem import WordNetLemmatizer
from nltk.corpus import stopwords
import string

def preprocess_text(text):
    # 统一转小写
    text = text.lower()
    # 分词
    tokens = word_tokenize(text)
    # 初始化工具
    lemmatizer = WordNetLemmatizer()
    stop_words = set(stopwords.words('english') + list(string.punctuation))
    
    # 过滤无用词+词形还原
    processed_tokens = [lemmatizer.lemmatize(token) for token in tokens if token not in stop_words]
    return processed_tokens

3. 提取词频+2-4元n-gram特征 #

用scikit-learn的CountVectorizer可以一次性搞定词频和多n-gram提取，直接对接我们的预处理函数：

from sklearn.feature_extraction.text import CountVectorizer

# 配置向量器：包含1元（词频）+2-4元n-gram，限制特征数量避免过拟合
vectorizer = CountVectorizer(
    tokenizer=preprocess_text,
    ngram_range=(1, 4),  # 如果你只想保留2-4元，改成(2,4)即可
    max_features=2000  # 短文本建议设1000-3000，根据数据量调整
)

# 假设你有训练文本列表train_texts和对应标签train_labels
# 拟合训练数据并转换为特征向量
X_train = vectorizer.fit_transform(train_texts)
# 转换测试数据（注意只用transform，不要fit）
X_test = vectorizer.transform(test_texts)

4. 构建并训练SVM模型 #

短文本场景下，LinearSVC比传统SVM更快更适配，直接调用即可：

from sklearn.svm import LinearSVC
from sklearn.metrics import classification_report

# 初始化模型，数据不平衡时可以加class_weight='balanced'
svm_model = LinearSVC()
# 训练模型
svm_model.fit(X_train, train_labels)
# 预测
y_pred = svm_model.predict(X_test)
# 输出评估报告（精准率、召回率、F1值）
print(classification_report(test_labels, y_pred))

可选优化：用TF-IDF替代词频 #

短文本中TF-IDF（词频-逆文档频率）有时候比单纯词频效果更好，只需要把CountVectorizer换成TfidfVectorizer：

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf_vectorizer = TfidfVectorizer(
    tokenizer=preprocess_text,
    ngram_range=(1, 4),
    max_features=2000
)
# 用法和CountVectorizer完全一致
X_train_tfidf = tfidf_vectorizer.fit_transform(train_texts)

针对短文本的额外建议 #

• 如果数据量小，一定要用交叉验证评估模型，比如sklearn.model_selection.cross_val_score
• 特征数量别贪多，10-20词的文本，max_features设1000左右足够，避免过拟合
• 若想进一步提升效果，可以尝试加入自定义停用词，或者针对你的任务领域调整预处理规则

内容的提问来源于stack exchange，提问作者Mahfuz