添加RobustScaler至Sklearn Pipeline时遇字符串转浮点错误求助

问题根源 #

你遇到的错误是因为RobustScaler在单位转换步骤之前执行了——Scaler只能处理数值型数据，但此时Mileage、Power、Engine这些列还是带单位的字符串（比如'26.6 km/kg'），自然无法转成浮点型。之前没加Scaler时，后续步骤（比如模型训练）可能隐式兼容了，但Scaler对输入类型要求更严格。

解决方案 #

1. 给带单位的列构建子Pipeline，确保处理顺序正确

把「单位提取→缺失值填充→缩放」打包成一个子Pipeline，保证Scaler只处理已经转成数值的数据：

import numpy as np
import pandas as pd
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import FunctionTransformer, SimpleImputer, RobustScaler
from sklearn.compose import ColumnTransformer

# 自定义单位提取函数：从字符串中提取数值，空值返回NaN
def extract_numeric_feature(x):
    return x.str.extract(r'(\d+\.?\d*)', expand=False).astype(float)

# 处理带单位列的子流程
unit_feature_pipeline = Pipeline([
    ('extract_num', FunctionTransformer(extract_numeric_feature)),
    ('fill_missing', SimpleImputer(strategy='median')),  # 用中位数补缺失
    ('scale', RobustScaler())
])

# 纯数值列的处理流程（如果有不需要单位转换的数值列）
numeric_feature_pipeline = Pipeline([
    ('fill_missing', SimpleImputer(strategy='median')),
    ('scale', RobustScaler())
])

# 组合预处理流程
preprocessor = ColumnTransformer([
    ('unit_features', unit_feature_pipeline, ['Mileage', 'Power', 'Engine']),
    ('numeric_features', numeric_feature_pipeline, ['Year', 'Seats'])  # 示例纯数值列
])

# 完整模型Pipeline
full_pipeline = Pipeline([
    ('preprocess', preprocessor),
    ('model', 你的模型实例)  # 比如RandomForestRegressor()
])

2. 排查ColumnTransformer的列分配

确认numeric_features对应的列里不包含需要单位转换的列——如果把Mileage这类列误放到纯数值流程里，Scaler会直接处理原字符串，触发错误。

3. 验证预处理输出

在训练模型前，单独运行预处理流程，确认输出全为数值且无NaN：

# 假设X_train是你的训练数据
processed_data = preprocessor.fit_transform(X_train)
print(f"处理后数据类型：{processed_data.dtype}")
print(f"缺失值总数：{np.isnan(processed_data).sum()}")

内容的提问来源于stack exchange，提问作者snoisia