如何重写Sklearn的TSNE以适配Pipeline函数使用？

这个问题我之前也碰到过，核心原因和解决思路给你梳理清楚：

问题根源 #

Sklearn的make_pipeline要求每一个中间步骤都必须符合Estimator API——也就是要有fit()和transform()方法（或者至少实现fit_transform()）。但TSNE的设计很特殊：它只有fit_transform()方法，没有单独的transform()，因为TSNE的降维逻辑是基于所有样本的全局距离分布，没法像PCA那样对未见过的新数据做“投影式”的变换。

你之前写的TSNE_wrapper报错，是因为类的实例方法必须把self作为第一个参数，你漏掉了，而且每次调用transform()都重新实例化TSNE，完全没有复用训练时的拟合状态，逻辑上也不对。

正确的解决方案 #

我们可以写一个符合Sklearn API规范的Wrapper类，同时要明确TSNE的局限性：它没法对新数据做真正的“transform”，只能对输入数据重新执行降维。

实现TSNE Wrapper #

from sklearn.manifold import TSNE
from sklearn.base import TransformerMixin, BaseEstimator

class TSNEWrapper(BaseEstimator, TransformerMixin):
    def __init__(self, **kwargs):
        # 初始化TSNE实例，传递所有参数
        self.tsne = TSNE(**kwargs)
        self._is_fitted = False
        
    def fit(self, X, y=None):
        # 符合Sklearn API要求，执行fit（TSNE的fit实际只是初始化内部状态）
        self.tsne.fit(X)
        self._is_fitted = True
        return self
    
    def transform(self, X):
        # 注意：这里的transform是对输入X重新执行TSNE降维，不是基于训练数据的投影
        # 这是TSNE算法的局限性，无法避免
        if not self._is_fitted:
            raise ValueError("请先调用fit方法拟合转换器！")
        return self.tsne.fit_transform(X)
    
    def fit_transform(self, X, y=None):
        # 复用TSNE原生的fit_transform方法
        result = self.tsne.fit_transform(X)
        self._is_fitted = True
        return result

在Pipeline中使用 #

现在你就可以正常用make_pipeline了：

from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LinearRegression

# 实例化管道，传入自定义的TSNE Wrapper
pipe = make_pipeline(TSNEWrapper(n_components=2), LinearRegression())

# 训练流程和普通管道一致
pipe.fit(X_train, y_train)

重要注意事项 #

• 当你对新数据调用pipe.transform(new_data)时，它会重新对new_data执行TSNE降维，而不是像PCA那样用训练好的模型做投影。这是TSNE的算法特性决定的，它无法基于训练数据的分布对新数据做映射。
• 如果你的场景需要对新数据做降维预测，建议换用UMAP（支持新数据transform）或者PCA这类算法，TSNE更适合用于数据可视化，而不是流水线式的预测任务。

内容的提问来源于stack exchange，提问作者Mike