如何解决cross_val_score评估多类别多输出数据集F分数的报错问题？

方案1：自定义评分函数 #

scikit-learn的默认F-score指标不支持直接处理multiclass-multioutput数据，核心原因是这种数据每个输出都是独立的多分类任务，需要明确每个任务的F-score计算方式再汇总结果。你可以自定义一个评分函数，手动计算每个输出维度的F-score，再取均值（或其他聚合方式），然后用make_scorer包装后传入cross_val_score。

示例代码：

from sklearn.model_selection import cross_val_score, make_scorer
from sklearn.metrics import f1_score
import numpy as np

# 自定义评分函数：计算每个输出维度的macro F1，再取均值
def multi_output_f1(y_true, y_pred):
    # 遍历每个输出列，计算F1，average选'macro'适配多分类场景
    f1_scores = [f1_score(true, pred, average='macro') for true, pred in zip(y_true.T, y_pred.T)]
    return np.mean(f1_scores)

# 用make_scorer包装自定义函数
custom_scorer = make_scorer(multi_output_f1)

# 调用cross_val_score，传入自定义评分器
scores = cross_val_score(your_model, X, y, cv=5, scoring=custom_scorer)

你可以根据需求调整聚合方式：比如用np.median取中位数，或者对不同输出任务加权。如果某个输出任务是二分类，也可以单独调整该任务的average参数（比如'binary'）。

方案2：用MultiOutputClassifier包装模型 #

如果你的基础模型本身不支持多输出，可以用MultiOutputClassifier将模型包装成多输出兼容版本，此时可以直接指定单任务的F-score指标，scikit-learn会自动处理每个输出任务的评分并汇总。

示例代码：

from sklearn.multioutput import MultiOutputClassifier
from sklearn.model_selection import cross_val_score

# 包装你的基础模型（比如RandomForestClassifier）
multi_output_model = MultiOutputClassifier(your_base_model)

# 调用cross_val_score，指定评分方式为每个任务的macro F1，默认返回所有任务的平均分数
scores = cross_val_score(multi_output_model, X, y, cv=5, scoring='f1_macro')

这里的scoring='f1_macro'会自动对每个输出任务计算macro F1，再返回平均分数。你也可以用'f1_weighted'等其他F-score变体，根据任务需求选择。

注意事项 #

• 确保标签数据y是二维数组（shape为(n_samples, n_outputs)），这是multiclass-multioutput的标准格式。
• 如果部分输出任务是二分类、部分是多分类，可以在自定义评分函数里针对性处理，比如判断每个任务的类别数量后选择对应的average参数。

内容的提问来源于stack exchange，提问作者user3464608