ColumnTransformer处理X_train时新增NaN空记录的问题求助

1. 检查自定义Transformer的实现逻辑 #

• 重点核查OutlierTrans和MakeOrdinal的fit_transform/transform方法：
  • 确认是否错误拼接了额外空行，比如用pd.concat时未对齐索引，或处理异常值时误用append生成新记录。
  • 单独测试每个Transformer的输出维度，定位问题来源：

    # 单独测试OutlierTrans
    outlier_trans = OutlierTrans()
    X_test_outlier = outlier_trans.fit_transform(X_train)
    print("OutlierTrans处理后shape:", X_test_outlier.shape)
    
    # 单独测试MakeOrdinal
    ordinal_trans = MakeOrdinal()
    X_test_ordinal = ordinal_trans.fit_transform(X_train)
    print("MakeOrdinal处理后shape:", X_test_ordinal.shape)
    

2. 验证ColumnTransformer配置 #

• 检查remainder参数：若设置为'passthrough'，确认是否因重复列拼接导致索引混乱，触发pandas自动补全NaN行。
• 核对列选择规则：是否误选了隐藏列或重复列，引发重复处理后的数据行数异常。

3. 重置数据集索引 #

• 预处理前强制重置X_train的索引，避免原索引缺失/重复导致的对齐问题：

  X_train = X_train.reset_index(drop=True)
  

4. 排查依赖版本变化 #

• 对比此前正常运行时的依赖版本，确认pandas、scikit-learn等库是否更新导致API行为变更：

  pip list | grep -E 'pandas|scikit-learn'
  

5. 定位新增NaN行的来源 #

• 筛选处理后的全NaN行，检查其索引是否来自原数据集：

  X_processed = column_transformer.fit_transform(X_train)
  nan_rows = X_processed[X_processed.isna().all(axis=1)]
  print("新增NaN行索引:", nan_rows.index)
  

  若索引为新生成，说明Transformer主动创建了空记录；若索引来自原数据，需排查原数据中未被处理的空值逻辑。

内容的提问来源于stack exchange，提问作者Diego