如何在sklearn流水线中对测试集执行Leave One Out编码？

首先得明确一个核心逻辑：测试集的LOO编码根本不需要用到测试集的目标变量——实际场景中测试集的目标是未知的，要是强行使用反而会造成数据泄露。LOO编码对测试集的正确处理方式，是用训练集拟合阶段得到的、该类别对应的目标统计值（比如均值）来编码，而非依赖测试集的目标。

在Sklearn体系下，你可以通过两种方式在流水线中实现：

1. 使用Sklearn内置的TargetEncoder（推荐） #

Sklearn 1.2及以上版本内置了sklearn.preprocessing.TargetEncoder，它原生支持这种需要目标变量的编码任务：

• 训练阶段：调用fit_transform(X_train, y_train)时，它会为每个类别计算对应的目标统计（默认是均值），同时处理LOO逻辑（避免当前样本的信息泄露）。
• 测试阶段：调用transform(X_test)时，直接使用训练阶段拟合好的类别统计值编码测试集特征，完全不需要传入测试集的目标。

示例代码：

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import TargetEncoder
from sklearn.linear_model import LogisticRegression

# 构建流水线
pipe = Pipeline([
    ('loo_encoder', TargetEncoder(target_type='binary')),  # 根据任务类型调整target_type（binary/regression/multiclass）
    ('classifier', LogisticRegression())
])

# 训练流水线
pipe.fit(X_train, y_train)

# 预测测试集
y_pred = pipe.predict(X_test)

2. 自定义兼容Sklearn接口的LOO编码器 #

如果你使用的是旧版本Sklearn，或者需要自定义LOO的计算逻辑，可以写一个继承自BaseEstimator和TransformerMixin的类，在fit方法中存储训练集的类别-目标统计，在transform方法中直接用这些统计编码测试集：

from sklearn.base import BaseEstimator, TransformerMixin
import pandas as pd
import numpy as np

class CustomLOOEncoder(BaseEstimator, TransformerMixin):
    def __init__(self, feature_cols):
        self.feature_cols = feature_cols
        self.category_stats = {}
    
    def fit(self, X, y):
        # 为每个类别特征计算训练集的目标均值
        for col in self.feature_cols:
            self.category_stats[col] = X.groupby(col)[y.name].mean().to_dict()
        return self
    
    def transform(self, X):
        X_transformed = X.copy()
        for col in self.feature_cols:
            # 用训练集的统计值编码测试集
            X_transformed[col] = X_transformed[col].map(self.category_stats[col])
            # 处理训练集中未出现的类别（可选，这里填充所有类别均值）
            X_transformed[col] = X_transformed[col].fillna(np.mean(list(self.category_stats[col].values())))
        return X_transformed

# 用法示例
pipe = Pipeline([
    ('custom_loo', CustomLOOEncoder(feature_cols=['category_col1', 'category_col2'])),
    ('classifier', LogisticRegression())
])

pipe.fit(X_train, y_train)
y_pred = pipe.predict(X_test)

关键提醒 #

别被“LOO需要目标变量”这个点误导——训练阶段需要目标是为了计算类别统计，测试阶段只需要复用训练好的统计结果，不需要测试集的目标，这才是符合无数据泄露要求的正确流程。

内容的提问来源于stack exchange，提问作者Jelle