scikit-learn ColumnTransformer维度不匹配错误解决请求

基于scikit-learn构建数据 ingestion 与转换 pipeline 时，使用ColumnTransformer触发维度不匹配错误：提示‘除拼接轴外的输入数组维度必须完全匹配’，训练集经数值管道处理后维度0为1064，分类管道处理后为1070，错误出现在data_transformation.py第110行。已确认输入数据行数一致，但问题仍存在。

核心原因 #

输入行数一致但处理后样本数差异，大概率是某个Transformer在处理中删除了样本，或是自定义处理逻辑存在行数变化的bug。

排查与解决步骤 #

1. 检查管道中是否存在删除样本的Transformer #

scikit-learn部分Transformer的参数会直接导致样本丢失：

• SimpleImputer(strategy='drop')：会删除包含缺失值的行
• 自定义Transformer中包含过滤样本的逻辑（比如手动删除NaN行）

解决方法：

• 替换strategy='drop'为适合的填充策略：数值特征用'median'/'mean'，分类特征用'most_frequent'
• 如果必须删除缺失值，要在ColumnTransformer之前统一处理：

  # 预处理阶段统一删除含缺失值的行
  train_df = train_df.dropna(subset=num_features + cat_features)
  train_df = train_df.reset_index(drop=True)
  

2. 单独测试每个管道的输出行数 #

拆分管道定位问题步骤：

# 替换为你的实际特征列名
num_features = ["数值特征1", "数值特征2"]
cat_features = ["分类特征1", "分类特征2"]

# 单独运行数值管道
num_pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])
num_output = num_pipeline.fit_transform(train_df[num_features])
print(f"数值管道输出行数: {num_output.shape[0]}")

# 单独运行分类管道
cat_pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('encoder', OneHotEncoder(handle_unknown='ignore'))
])
cat_output = cat_pipeline.fit_transform(train_df[cat_features])
print(f"分类管道输出行数: {cat_output.shape[0]}")

逐步拆解管道中的每个Transformer，单独运行fit_transform，定位哪一步导致行数变化后针对性修复。

3. 检查自定义Transformer逻辑 #

如果使用了自定义Transformer，确认其fit_transform和transform方法返回的数组行数与输入一致，避免在处理中执行无统一逻辑的样本过滤操作。

4. 重置数据集索引 #

输入数据集存在重复或不连续索引时，部分Transformer内部处理可能异常，导致行数变化。在输入管道前重置索引：

train_df = train_df.reset_index(drop=True)

验证修复 #

调整后重新运行ColumnTransformer，确认两个管道输出行数一致，即可解决维度不匹配问题。

内容的提问来源于stack exchange，提问作者prashant jacob