为Pipeline创建ColumnTransformer时触发ValueError错误如何解决

问题根因 #

• 核心错误点：FunctionTransformer的kw_args参数要求传入字典格式的额外关键字参数，你直接传入了DataFrame类型的X，scikit-learn内部处理参数时触发了DataFrame布尔值判断的歧义，就是你收到的报错来源。
• 隐藏问题1：你写的clean_school_data函数本身只有data一个入参，不需要额外参数，完全没必要用到kw_args参数。
• 隐藏问题2：ColumnTransformer会把所有转换器的输出按列拼接，你同时配置了数值列插补、全量列清洗两个步骤，会导致最终输出的特征重复，影响后续模型训练。
• 隐藏问题3：clean_school_data函数的定义放在了调用之后，运行时会触发函数未定义的报错。

修复方案 #

1. 调整FunctionTransformer初始化逻辑，不需要传kw_args参数，直接传入函数名即可
2. 调整预处理顺序：先做全量数据清洗，再做数值列插补，避免重复输出特征
3. 把自定义函数的定义移到调用位置之前
4. 给ColumnTransformer配置remainder='passthrough'参数，非数值列直接保留，不需要单独配置全列转换器

修复后的参考代码：

import numpy as np
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# 先定义自定义函数
def clean_school_data(data):
    data.columns = map(str.lower, data.columns)
    data = data.rename(columns={'pws_id':'pwsid'})
    data = data.loc[:,~data.columns.duplicated()]
    return data

# 数据拆分
X = school_data.drop(['result'], axis=1)
y = school_data['result']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=2)

# 初始化数据清洗转换器
clean_data = FunctionTransformer(clean_school_data)

# 列转换器仅负责数值列插补，非数值列直接保留
column_pipeline = ColumnTransformer([
    ("imputer", IterativeImputer(random_state=2), selector(dtype_include=np.number))
], remainder='passthrough')

# 全流程pipeline
model_pipeline = Pipeline(steps=[
    ('clean_data', clean_data),
    ('features', column_pipeline),
    ('merge_datasets', merge_datasets),
    ('get_closest_school', closest_school), 
    ('random_forest', RandomForestClassifier(random_state=2))
])

内容的提问来源于stack exchange，提问作者SamOfSchrodinger