使用TF-IDF与XGBoost构建文本分类Pipeline报错的解决方法

云原生阿岚

2026-7-16

问题解决：Pipeline中ValueError: too many values to unpack (expected 2)

错误原因分析

出现这个错误的核心原因有两个可能：

输入数据格式不匹配：你的X是包含Description列的DataFrame，但TfidfVectorizer默认期望接收一维的文本序列（如Series、列表），而非二维的DataFrame，导致Pipeline内部处理时解析出错。
Pipeline变量名或步骤定义错误：你创建的Pipeline变量是pipe，但调用fit时用的是training_pipeling，如果training_pipeling的steps格式不符合sklearn要求（比如某个步骤不是(名称, 估计器)的二元元组），就会触发解包错误。

解决方案

方案1：简化输入数据格式

直接将X替换为Description列的Series，这样Pipeline可以直接处理：

X = data['Description']
y = data['label']

pipe = Pipeline(steps=[('tfidf', TfidfVectorizer()), 
                       ('model', XGBClassifier())])
pipe.fit(X, y)

方案2：在Pipeline中加入文本列提取步骤

如果需要保留DataFrame作为输入，可以用FunctionTransformer或ColumnTransformer在Pipeline中提取Description列：

用`FunctionTransformer`：

from sklearn.preprocessing import FunctionTransformer

pipe = Pipeline(steps=[
    ('extract_desc', FunctionTransformer(lambda df: df['Description'])),
    ('tfidf', TfidfVectorizer()),
    ('model', XGBClassifier())
])
pipe.fit(data.drop(['label'], axis=1), data['label'])

用`ColumnTransformer`：

from sklearn.compose import ColumnTransformer

pipe = Pipeline(steps=[
    ('preprocess', ColumnTransformer(
        transformers=[('tfidf', TfidfVectorizer(), 'Description')],
        remainder='drop'
    )),
    ('model', XGBClassifier())
])
pipe.fit(data.drop(['label'], axis=1), data['label'])