使用Sklearn Pipeline训练决策树时遇IndexError: tuple index out of range问题求助

你的代码核心问题出在特征预处理逻辑错误和数据集拆分方式不对：

1. 你在ColumnTransformer里加入了对目标列language的处理，但该列是预测标签而非特征，且训练时传入的X_train仅包含tweet列，导致预处理组件找不到language列，触发索引错误。
2. 拆分数据集时，X传入的是单列Series（d.tweet），但ColumnTransformer需要DataFrame才能通过列名匹配特征。

修正后的代码 #

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.preprocessing import LabelEncoder
from sklearn.tree import DecisionTreeClassifier

# 定义特征与参数
text_features = ['tweet']
ngram_size = 2

# 特征预处理：仅处理tweet列的字符级ngram转换
preprocessor = ColumnTransformer(
    transformers=[
        ('vect', CountVectorizer(ngram_range=(ngram_size, ngram_size), analyzer='char'), text_features)
    ])

# 拆分数据集：X传入包含tweet列的DataFrame，y传入目标列
X_train, X_test, y_train, y_test = train_test_split(
    d[text_features], 
    d['language'], 
    test_size=0.3, 
    random_state=42
)

# 单独编码目标变量（将字符串标签转为数值）
le = LabelEncoder()
y_train_encoded = le.fit_transform(y_train)
y_test_encoded = le.transform(y_test)

# 构建并训练Pipeline
clf = DecisionTreeClassifier()
clf_ngram = Pipeline(steps=[('pre', preprocessor), ('clf', clf)])
clf_ngram.fit(X_train, y_train_encoded)

# 交叉验证评估
print('Test accuracy computed using cross validation:')
scores = cross_val_score(clf_ngram, X_test, y_test_encoded, cv=2)
print(f"交叉验证分数: {scores}")
print(f"平均准确率: {scores.mean():.2f}")

关键修正点说明 #

• 移除ColumnTransformer中对language列的处理：目标变量的编码是独立于特征预处理的步骤，不应混入特征管道。
• 拆分数据集时传入DataFrame格式的特征：d[text_features]确保ColumnTransformer能通过列名正确找到tweet列。
• 使用LabelEncoder单独编码目标变量：将字符串类型的语言标签转换为分类模型可识别的数值类型，且严格遵循训练集fit_transform、测试集transform的规则，避免数据泄露。

内容的提问来源于stack exchange，提问作者Chiara