使用TfidfTransformer时触发‘无法将字符串转为浮点数’错误

错误原因 #

你遇到的ValueError核心问题是**TfidfTransformer无法直接处理原始文本字符串**。它的作用是对已经通过CountVectorizer生成的词频稀疏矩阵做TF-IDF转换，而非直接将文本转为数值特征。你的管道第一步就用了TfidfTransformer，输入的是原始短信文本，自然会触发“无法将字符串转为浮点数”的错误。

修正方案 #

需要先将原始文本通过CountVectorizer或TfidfVectorizer转为数值特征，再进行后续处理。以下是两种可行的管道配置：

方案1：直接使用TfidfVectorizer（一步完成文本向量化+TF-IDF转换） #

替换管道中的TfidfTransformer为TfidfVectorizer，同时保留后续的DenseTransformer和GaussianNB（高斯朴素贝叶斯需要稠密矩阵输入）：

# 导入所需模块
from sklearn.pipeline import Pipeline
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
# 自定义转稠密矩阵类（如果之前没定义）
from sklearn.base import BaseEstimator, TransformerMixin
class DenseTransformer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    def transform(self, X):
        return X.todense()

# 数据拆分
X = df['v2']
y = df['v1']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 修正后的管道
pipe_gnb = Pipeline([
    ('vect', TfidfVectorizer()),  # 替换为TfidfVectorizer，直接处理文本
    ('to_dense', DenseTransformer()), 
    ('gnb', GaussianNB())
])

# 调整参数键名，对应TfidfVectorizer的参数
params_gnb = {
    'vect__sublinear_tf': [True, False],
    # 可按需添加其他参数，比如：
    # 'vect__ngram_range': [(1,1), (1,2)],
    # 'vect__max_df': [0.8, 0.9, 1.0]
}

gs_gnb = GridSearchCV(pipe_gnb, params_gnb, verbose=10, cv=5, n_jobs=-1, scoring='accuracy', error_score='raise')
gs_gnb.fit(X_train, y_train)

方案2：先CountVectorizer再TfidfTransformer（分步处理） #

如果需要分开控制词频统计和TF-IDF转换的参数，可以用这个组合：

# 导入所需模块
from sklearn.pipeline import Pipeline
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.base import BaseEstimator, TransformerMixin
class DenseTransformer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    def transform(self, X):
        return X.todense()

# 数据拆分
X = df['v2']
y = df['v1']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 分步处理的管道
pipe_gnb = Pipeline([
    ('count_vect', CountVectorizer()),  # 先将文本转为词频矩阵
    ('tfidf', TfidfTransformer()),     # 再做TF-IDF转换
    ('to_dense', DenseTransformer()), 
    ('gnb', GaussianNB())
])

# 参数键名对应各自步骤
params_gnb = {
    'tfidf__sublinear_tf': [True, False],
    # 可添加CountVectorizer的参数：
    # 'count_vect__ngram_range': [(1,1), (1,2)]
}

gs_gnb = GridSearchCV(pipe_gnb, params_gnb, verbose=10, cv=5, n_jobs=-1, scoring='accuracy', error_score='raise')
gs_gnb.fit(X_train, y_train)

额外说明 #

• 你提到预处理了v1列（标签列），但问题出在特征列v2的处理上，和标签无关。只要y列是清晰的分类标签（比如spam/ham字符串或0/1数值），Sklearn分类器都能正常处理。
• DenseTransformer是必须的，因为GaussianNB不支持稀疏矩阵输入，需要将TF-IDF生成的稀疏矩阵转为稠密矩阵。

内容的提问来源于stack exchange，提问作者YuvrajSingh