Scikit-Learn Pipeline中使用TF-IDF时的数据形状不兼容问题

遇到这种Pipeline里的特征形状不匹配问题确实挺闹心的，我来帮你分析下可能的原因和解决办法～

首先看你给出的错误信息：blocks[0,:] has incompatible row dimensions. Got blocks[0,6].shape[0] == 4, expected 794，这说明在Pipeline的某个环节，数据的行数突然从预期的794变成了4，大概率是你的FeatureSelector和TF-IDF的衔接出了问题，或者多特征拼接时分支的输出行数不一致。

最可能的问题：FeatureSelector返回了二维数据而非一维文本数组 #

TF-IDFVectorizer默认期望输入是一维的文本序列（比如Series、列表，每个元素是一个字符串样本），但如果你的FeatureSelector返回的是单列DataFrame（二维结构，形状为(794,1)），TF-IDF在处理时就会出现异常，甚至可能误把每行的列当成样本，导致行数错乱。

修复FeatureSelector的transform方法

你贴的FeatureSelector代码没写完，我帮你补全并修正，确保它在选单列时返回一维数据：

from sklearn.base import BaseEstimator, TransformerMixin

class FeatureSelector(BaseEstimator, TransformerMixin):
    def __init__(self, keys, description = ""):
        self.keys = keys
        self.description = description
    
    def fit(self, X, y=None):
        # fit方法不需要做额外操作，直接返回自身即可
        return self
    
    def transform(self, X, y=None):
        selected_features = X[self.keys]
        # 如果只选一列，把二维DataFrame转成一维Series/数组
        if len(self.keys) == 1:
            return selected_features.squeeze()
        # 多选列时返回DataFrame（适合后续处理数值特征的场景）
        return selected_features

验证修复效果 #

你可以单独测试这个修正后的FeatureSelector：

selector = FeatureSelector(keys=['Subject'])
transformed_subject = selector.transform(X)
# 正常情况下形状应该是(794,)，而不是(794,1)
print(transformed_subject.shape)
# 再测试TF-IDF能否正常处理
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer()
tfidf_result = tfidf.fit_transform(transformed_subject)
print(tfidf_result.shape)  # 应该输出(794, 特征数)

其他可能的排查方向 #

如果你是用FeatureUnion拼接多个特征分支（比如文本特征+数值特征），那要检查每个分支的输出行数是否一致：

• 比如某个分支的transform方法意外过滤了数据，导致行数变成4，而另一个分支是完整的794行，就会触发这个错误。
• 单独测试每个分支的transform输出，确认所有分支的行数都是794。

简化替代方案（可选） #

如果你只是提取单列文本，也可以不用自定义FeatureSelector，直接用FunctionTransformer更简洁：

from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import Pipeline

def extract_subject(X):
    return X['Subject'].values

pipe = Pipeline([
    ('extract_subject', FunctionTransformer(extract_subject)),
    ('tfidf', TfidfVectorizer())
])

备注：内容来源于stack exchange，提问作者Josh Willis