自定义预处理类与模型集成sklearn Pipeline报错及解决方法咨询

首先解决你遇到的模块找不到错误：

• 错误提示找不到sklearn.preprocessing_functions，说明你的某个自定义预处理类（比如Change_Data_Type、Years_Passed等）内部，错误地写了from sklearn.preprocessing_functions import ...这类导入语句。检查所有source/preprocessing_functions.py和source/machine_learning_toolbox.py里的导入代码，修正为正确的内部引用或绝对路径导入。
• 确保source目录是合法的Python包：在source文件夹下创建空的__init__.py文件，同时保证source所在的目录在Python的sys.path中（或者你运行脚本的工作目录就是source的父目录）。

接下来是核心问题：如何将自定义工具集成到sklearn Pipeline中——只要你的自定义类遵循sklearn的Estimator API规范，就能直接加入Pipeline，具体要求如下：

1. 预处理/转换类的规范 #

所有预处理类需要实现两个方法：

• fit(self, X, y=None)：用于在训练数据上记录必要的状态（比如标准化的均值、方差，或者独热编码的类别），方法末尾必须返回self。
• transform(self, X)：应用预处理逻辑到输入数据，返回转换后的数据集。

举个符合规范的示例（对应你的Years_Passed类）：

import pandas as pd

class Years_Passed:
    def __init__(self, year_col, current_year):
        self.year_col = year_col
        self.current_year = current_year

    def fit(self, X, y=None):
        # 这个类不需要训练状态，直接返回self即可
        return self

    def transform(self, X):
        # 必须返回新的数据集，避免修改原数据
        X_transformed = X.copy()
        X_transformed['Years_Passed'] = self.current_year - X_transformed[self.year_col]
        return X_transformed

2. 模型类的规范 #

你的Regresor_Model需要实现：

• fit(self, X, y)：用训练数据拟合模型，返回self。
• predict(self, X)：对输入数据生成预测结果。
• 可选：score(self, X, y)：计算模型在数据集上的评估指标（比如R²）。

示例骨架：

class Regresor_Model:
    def __init__(self, bounds):
        self.bounds = bounds
        # 初始化模型内部参数
        self.model = None

    def fit(self, X, y):
        # 在这里实现你的模型拟合逻辑
        self.model = ...  # 训练你的模型
        return self

    def predict(self, X):
        # 实现预测逻辑
        return self.model.predict(X)

3. 验证与调试 #

在构建完整Pipeline之前，单独测试每个组件的功能，避免整体报错难以排查：

# 测试单个预处理组件
year_transformer = Years_Passed('Year', config.YEAR)
X_test_transform = year_transformer.fit_transform(X_train)
print(X_test_transform[['Year', 'Years_Passed']].head())

# 测试模型组件
model = Regresor_Model(config.BOUNDS)
model.fit(X_train_processed, y_train)
preds = model.predict(X_test_processed)

只要你的自定义类满足上述规范，并且模块导入路径正确，就可以像你代码里那样直接把它们加入Pipeline步骤中，正常运行pipeline.fit(X_train, y_train)。

内容的提问来源于stack exchange，提问作者Ernesto Lopez Fune