如何在集成LightGBM与XGBoost的VotingClassifier中处理object类型变量

VotingClassifier默认将同一份原始输入直接传递给所有基分类器，没有为不同模型单独配置数据适配流程的能力。这就是混合类型特征触发报错的本质：XGBoost直接接收到了自身不支持的object/category类型特征。

为两个基分类器分别封装专属的预处理Pipeline，让每个模型在拿到原始数据后，先执行符合自身要求的特征转换，再进入训练/预测流程。全程不需要修改VotingClassifier的原生调用逻辑，预处理逻辑严格匹配你的需求：

• XGBoost链路：所有object/category类型特征转换为独热编码，纯数值特征保留，保证最终输入为纯数值矩阵
• LightGBM链路：所有object类型特征转换为category类型，已有的category、数值特征保留，触发光影原生的类别特征优化逻辑

import pandas as pd
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.ensemble import VotingClassifier

# XGBoost专属：独热编码转换转换器
class XGBOneHotTransformer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 记录训练阶段独热编码后的全量列名，避免预测阶段列数不匹配
        self.dummy_cols_ = pd.get_dummies(X, dummy_na=True).columns
        return self
    
    def transform(self, X):
        X_dummy = pd.get_dummies(X, dummy_na=True)
        # 对齐训练时的列顺序，对训练集未出现的类别列补0
        return X_dummy.reindex(columns=self.dummy_cols_, fill_value=0).values

# LightGBM专属：object转category转换器
class LGBObjectToCategoryTransformer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 识别所有object类型列，提前记录每列的合法类别集合
        self.object_cols_ = X.select_dtypes(include=['object']).columns
        self.cat_bases_ = {
            col: X[col].astype('category').cat.categories
            for col in self.object_cols_
        }
        return self
    
    def transform(self, X):
        X_processed = X.copy()
        for col in self.object_cols_:
            # 复用训练时的类别集合，避免预测时类型不匹配报错
            X_processed[col] = X_processed[col].astype('category').cat.set_categories(self.cat_bases_[col])
        return X_processed

将转换器与原有分类器封装为独立Pipeline后，传入VotingClassifier：

# 替换为你自己初始化完成的XGB、LightGBM分类器实例
clf_xgb_pipe = Pipeline([
    ("preprocess", XGBOneHotTransformer()),
    ("clf", clf_xgb)
])

clf_lgb_pipe = Pipeline([
    ("preprocess", LGBObjectToCategoryTransformer()),
    ("clf", clf_lgb)
])

# 初始化逻辑与你原有代码完全一致
clf = VotingClassifier(
    estimators=[("xgb", clf_xgb_pipe), ("lgb", clf_lgb_pipe)],
    voting="soft"
)

# 训练调用方式无任何改动
clf.fit(train[variables], train[target])

• 独热编码环节必须在fit阶段固定列索引，不能直接将实时生成的独热结果喂给模型，否则预测阶段遇到训练集未出现过的类别时，会直接触发特征维度不匹配的报错
• LightGBM转换category类型时，要严格沿用训练阶段记录的类别集合，不要在预测阶段动态生成类别集合，否则会触发类型校验错误
• 该方案完全保留VotingClassifier的原生投票逻辑，所有预处理都在每个基模型的独立链路内完成，不存在跨模型的特征干扰

内容的提问来源于stack exchange，提问作者Herwini