Scikit-learn多离散值特征列转换遇阻，求解决方案及教程

问题背景 #

拥有包含约10个离散数据列的数据集，已成功用LabelEncoder处理仅含YES/NO值的列：

le = LabelEncoder()
X['ABC'] = le.fit_transform(X['ABC'])

但处理含10个不同取值的列（如定位信息）时，尝试FeatureHasher和ColumnTransformer均报错，具体问题及解决方法如下：

1. FeatureHasher 报错解决 #

报错核心是输入格式不匹配，FeatureHasher要求输入为字典迭代器，而常规DataFrame列是序列格式，同时n_features参数必须指定具体数值。

修正后的代码示例：

from sklearn.feature_extraction import FeatureHasher
import pandas as pd

# 假设目标列名为'location'
# 将列转换为字典格式的迭代器：每个元素是{列名: 对应值}的字典
data_dict = [{'location': val} for val in X['location']]

# 初始化FeatureHasher，指定特征维度（比如设为10，和类别数量一致）
h = FeatureHasher(n_features=10, input_type='dict')
# 转换并转为数组格式
hashed_features = h.transform(data_dict).toarray()

# 将转换后的特征合并回原数据集
hashed_df = pd.DataFrame(hashed_features, columns=[f'location_hash_{i}' for i in range(10)])
X = pd.concat([X.drop('location', axis=1), hashed_df], axis=1)

2. ColumnTransformer 报错解决 #

你的代码可能存在以下问题：

• 列索引[1]可能不是目标多类别列的正确位置（若X是DataFrame，建议用列名而非索引，避免索引变化导致错误）
• 未设置OneHotEncoder的handle_unknown='ignore'参数，后续测试集出现训练集未见过的类别会报错
• 若X包含已用LabelEncoder处理的列，需确保remainder='passthrough'正确保留这些列

修正后的代码示例：

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 假设目标多类别列名为'location'，已处理的YES/NO列是'ABC'
ct = ColumnTransformer(
    transformers=[
        # 对多类别列做独热编码
        ('onehot', OneHotEncoder(handle_unknown='ignore'), ['location'])
    ],
    # 保留其他已处理或无需处理的列
    remainder='passthrough'
)

# 转换为数组格式（若要保留DataFrame格式，可改用pd.DataFrame(ct.fit_transform(X), columns=ct.get_feature_names_out())）
X_transformed = np.array(ct.fit_transform(X))

更高效的批量处理方案 #

如果10个离散列中，部分是二元类别（YES/NO）、部分是多类别，可一次性用ColumnTransformer分别处理：

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
from sklearn.pipeline import Pipeline

# 定义列分组：二元列和多类别列
binary_cols = ['ABC', 'DEF']  # 替换为你的二元类别列名
multi_class_cols = ['location', 'category']  # 替换为你的多类别列名

# 构建转换器
ct = ColumnTransformer(
    transformers=[
        # 二元列用LabelEncoder（封装在Pipeline里适配ColumnTransformer）
        ('binary_encoder', Pipeline(steps=[('le', LabelEncoder())]), binary_cols),
        # 多类别列用OneHotEncoder
        ('multi_encoder', OneHotEncoder(handle_unknown='ignore'), multi_class_cols)
    ],
    remainder='passthrough'
)

# 执行转换
X_final = ct.fit_transform(X)

内容的提问来源于stack exchange，提问作者Krystian