TfidfVectorizer结合GaussianNB训练时出现稀疏矩阵转稠密数组错误

问题根源 #

GaussianNB不支持稀疏矩阵输入，而TfidfVectorizer输出的是稀疏格式特征矩阵，直接通过Pipeline串联会触发"需要稠密数组"的错误。

解决方案1：在Pipeline中加入稀疏转稠密的转换步骤 #

使用FunctionTransformer把Tfidf输出的稀疏矩阵转为稠密数组，让GaussianNB可以处理：

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import GaussianNB
from sklearn.preprocessing import FunctionTransformer
from sklearn.model_selection import GridSearchCV

# 定义转换函数
def sparse_to_dense(X):
    return X.toarray()

# 构建带转换步骤的Pipeline
pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('sparse_to_dense', FunctionTransformer(sparse_to_dense, validate=False)),
    ('gnb', GaussianNB())
])

# 设置参数网格
param_grid = {
    'tfidf__max_features': [1000, 2000, 3000],
    'tfidf__ngram_range': [(1,1), (1,2)],
    'gnb__var_smoothing': [1e-9, 1e-8, 1e-7]
}

# 初始化GridSearchCV并拟合
grid_search = GridSearchCV(pipeline, param_grid, cv=10, scoring='accuracy')
grid_search.fit(X, y)

解决方案2：改用支持稀疏矩阵的朴素贝叶斯模型 #

文本分类场景中，MultinomialNB或BernoulliNB原生支持稀疏输入，无需转换，内存效率更高，且性能更适配文本数据：

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import GridSearchCV

# 构建无需转换的Pipeline
pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('mnb', MultinomialNB())
])

# 设置参数网格
param_grid = {
    'tfidf__max_features': [1000, 2000, 3000],
    'tfidf__ngram_range': [(1,1), (1,2)],
    'mnb__alpha': [0.1, 0.5, 1.0]
}

# 初始化GridSearchCV并拟合
grid_search = GridSearchCV(pipeline, param_grid, cv=10, scoring='accuracy')
grid_search.fit(X, y)

注意事项 #

• 方案1的转换步骤会大幅增加内存占用，当特征数超过1万时可能导致内存溢出，仅适合小特征规模场景。
• 方案2的MultinomialNB是文本分类的常用选择，推荐优先使用。

内容的提问来源于stack exchange，提问作者YuvrajSingh