使用ColumnTransformer时遇ValueError：指定列不在DataFrame中

你在定义ColumnTransformer时，传给转换器的特征参数用了整个数据列的Series（df3['Text']、df3['Topic']），但ColumnTransformer要求这里传入的是列名（字符串）或者列的索引位置，用来标识要处理输入DataFrame中的哪一列。当你用这个预处理对象处理x_train时，系统无法在x_train中找到对应于df3['Text']这个Series的列，因此抛出ValueError。

将特征定义改为列名字符串，同时可以直接使用你定义好的完整Pipeline来完成训练和评估，无需手动拆分预处理和模型训练：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import OneHotEncoder
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split

# 假设df3已定义
x_train, x_test, y_train, y_test = train_test_split(df3[['Text', 'Topic']], df3['Label'], test_size=0.3, random_state=434)

# 文本特征处理管道：用列名'Text'指定特征
text_transformer = Pipeline(steps=[
    ('vectorizer', TfidfVectorizer(stop_words="english"))
])

# 分类特征处理管道：用列名'Topic'指定特征
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# 组合预处理：传入列名字符串
preprocessor = ColumnTransformer(
    transformers=[
        ('Text', text_transformer, 'Text'),
        ('Topic', categorical_transformer, 'Topic')
])

# 完整训练管道
clf_pipe = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ("model", SVC())
])

# 直接用管道训练和评估
clf_pipe.fit(x_train, y_train)
print(clf_pipe.score(x_test, y_test))

• 如果你的特征是按位置索引的，也可以用数字代替列名，比如0代表第一列（Text），1代表第二列（Topic）
• 使用完整Pipeline可以避免手动处理fit_transform和transform的步骤，同时保证训练集和测试集的预处理逻辑一致，防止数据泄露

内容的提问来源于stack exchange，提问作者coelidonum