如何组合多个LinearSVC二分类器实现多标签分类且避免无效训练

实现方案 #

方案1：封装已训练好的独立分类器（推荐，不改动已有调优结果） #

你已经完成4个分类器的单独训练和调优的前提下，不需要引入额外集成框架，直接自定义符合scikit-learn接口规范的封装类即可，完全不会修改原有模型的权重和训练状态，也不存在标签交叉使用的问题。
实现代码如下：

from sklearn.base import BaseEstimator, ClassifierMixin
import numpy as np

class CombinedOneHotClassifier(BaseEstimator, ClassifierMixin):
    def __init__(self, classifiers):
        # 按one-hot1到one-hot4的顺序传入你已经训练完成的4个分类器
        self.classifiers = classifiers
    
    def fit(self, X, y=None):
        # 所有模型已提前训练完成，fit方法直接返回自身，不会做任何参数修改
        return self
    
    def predict(self, X):
        # 逐个调用分类器预测，拼接为符合要求的(nsamples, 4)形状输出
        pred_list = [clf.predict(X).reshape(-1, 1) for clf in self.classifiers]
        return np.hstack(pred_list)

调用方式完全匹配你的需求：

# 初始化合并分类器
combined_classifiers = CombinedOneHotClassifier([
    pipeline_one_hot_1,
    pipeline_one_hot_2,
    pipeline_one_hot_3,
    pipeline_one_hot_4
])
# 直接预测得到对应形状的one-hot结果
prediction = combined_classifiers.predict(X_test)

方案2：端到端训练场景下的实现 #

如果你需要从0开始同步训练4个分类器，可以直接使用scikit-learn官方提供的MultiOutputClassifier工具，它原生支持多输出二分类任务，会自动为每个输出列分配独立的基分类器，训练时第i个分类器只会读取对应第i列的标签，完全隔离不同分类器的训练数据，不会出现标签混用的问题。
示例代码：

from sklearn.multioutput import MultiOutputClassifier

# 定义每个one-hot列对应的基分类器pipeline
base_estimators = [
    pipeline_one_hot_1,
    pipeline_one_hot_2,
    pipeline_one_hot_3,
    pipeline_one_hot_4
]
combined_classifiers = MultiOutputClassifier(estimator=None)
# 直接赋值已训练好的分类器
combined_classifiers.estimators_ = base_estimators
# 如果需要重新训练，传入完整的多列标签即可，每个分类器只会读取自己对应的标签列
# combined_classifiers.fit(X_train, y_train[['one-hot1', 'one-hot2', 'one-hot3', 'one-hot4']])

关于StackingClassifier的说明 #

不建议使用StackingClassifier实现需求，它是面向单标签分类任务的集成工具，默认所有基分类器都会使用同一个全局标签训练，原生不支持多输出场景的标签隔离，硬改适配的成本远高于上面两种方案，还可能破坏你已经调优完成的模型参数。

内容的提问来源于stack exchange，提问作者randomdatascientist