编码分类变量遇TypeError：如何解决bool与str类型混合问题？

问题根源 #

你遇到的错误是因为分类列中同时存在布尔值（True/False）和字符串（'true'/'false'等）类型，加上SimpleImputer填充'None'后，列内数据类型混杂，触发了OneHotEncoder对输入类型一致性的检查。

解决方案 #

核心思路是先统一所有分类列的数据类型为字符串，再处理缺失值和编码；可选步骤统一字符串型布尔值的格式，避免生成冗余类别。

1. 构建包含类型转换的Pipeline

通过自定义转换器把所有分类列转成字符串，确保输入OneHotEncoder的是统一类型：

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder, FunctionTransformer
import pandas as pd

# 自定义函数：将输入数据统一转为字符串类型
def convert_to_string(X):
    return pd.DataFrame(X).astype(str)

# 构建预处理流水线
cat_pipeline = Pipeline([
    # 第一步：统一转字符串，消除布尔/字符串混合类型
    ('str_convert', FunctionTransformer(convert_to_string, validate=False)),
    # 第二步：填充缺失值
    ('imputer', SimpleImputer(strategy='constant', fill_value='None')),
    # 第三步：独热编码
    ('onehot', OneHotEncoder(sparse_output=False, handle_unknown='ignore'))
])

2. 可选：统一字符串型布尔值格式

如果数据中存在'true'/'false'、'True'/'False'等不同写法的布尔字符串，建议统一格式，避免同一语义被编码成不同特征：

# 自定义函数：标准化布尔字符串写法
def standardize_bool_labels(X):
    df = pd.DataFrame(X)
    for col in df.columns:
        df[col] = df[col].replace({'true': 'True', 'false': 'False'})
    return df

# 更新后的流水线
cat_pipeline = Pipeline([
    ('str_convert', FunctionTransformer(convert_to_string, validate=False)),
    # 新增：统一布尔字符串格式
    ('bool_standardize', FunctionTransformer(standardize_bool_labels, validate=False)),
    ('imputer', SimpleImputer(strategy='constant', fill_value='None')),
    ('onehot', OneHotEncoder(sparse_output=False, handle_unknown='ignore'))
])

关键说明 #

• FunctionTransformer用来将自定义逻辑接入Scikit-learn流水线，validate=False是因为我们明确输入是DataFrame，无需默认的数组验证。
• 转成字符串后，布尔值True/False会变成'True'/'False'，和字符串型布尔值统一类型，彻底解决类型冲突问题。
• handle_unknown='ignore'可以避免测试数据出现训练集没有的类别时报错。

内容的提问来源于stack exchange，提问作者arbrod