多标签分类任务中各类别Precision、Recall、F1值计算问题咨询

我正在尝试计算多标签分类任务中每个类别的Precision、Recall和F1-Score，但发现单个类别的F1值均高于0.8，而整体任务的F1值仅为0.66，因此怀疑计算过程存在问题。当前的实现代码如下：

confusion_matrix = multilabel_confusion_matrix(gold_labels, predictions)

assert(len(confusion_matrix) == 6)

for label in range(len(labels_reduced)):

    tp = confusion_matrix[label][0][0]
    fp = confusion_matrix[label][0][1]
    fn = confusion_matrix[label][1][0]
    tn = confusion_matrix[label][1][1]

    precision = tp+fp
    precision = tp/precision

    recall = tp+fn
    recall = tp/recall

    f1_score_up = precision * recall
    f1_score_down = precision + recall
    f1_score = f1_score_up/f1_score_down
    f1_score = 2 * f1_score

    print(f"Metrics for {labels_reduced[label]}.")
    print(f"Precision: {precision}")
    print(f"Recall: {recall}")
    print(f"F1-Score: {f1_score}")

问题分析 #

1. 计算方式存在核心错误
   scikit-learn的multilabel_confusion_matrix返回的单类别混淆矩阵格式为[[tn, fp], [fn, tp]]，你完全搞反了TP、TN的取值：

   • 你取的confusion_matrix[label][0][0]是真阴性（TN），而非真阳性（TP）
   • 正确的TP取值应为confusion_matrix[label][1][1]
     这个索引错误直接导致手动计算的所有类别指标完全失真，虚高的F1值是错误计算的结果，不反映模型真实表现。

2. 结果完全不合理
   单个类别F1全高于0.8但整体F1仅0.66的矛盾，本质是手动计算的类别指标无效。若整体F1是通过scikit-learn内置函数计算的，那它才是任务的真实整体指标。

正确计算方法 #

方法一：修正手动计算的混淆矩阵取值

调整TP、FP、FN、TN的索引，并补充除以0的边界处理，代码如下：

confusion_matrix = multilabel_confusion_matrix(gold_labels, predictions)

assert(len(confusion_matrix) == 6)

for label in range(len(labels_reduced)):
    # 修正混淆矩阵取值
    tn = confusion_matrix[label][0][0]
    fp = confusion_matrix[label][0][1]
    fn = confusion_matrix[label][1][0]
    tp = confusion_matrix[label][1][1]

    # 计算Precision（避免除以0）
    precision = tp / (tp + fp) if (tp + fp) != 0 else 0.0
    # 计算Recall（避免除以0）
    recall = tp / (tp + fn) if (tp + fn) != 0 else 0.0
    # 计算F1-Score（避免除以0）
    f1_score = 2 * (precision * recall) / (precision + recall) if (precision + recall) != 0 else 0.0

    print(f"Metrics for {labels_reduced[label]}.")
    print(f"Precision: {precision:.4f}")
    print(f"Recall: {recall:.4f}")
    print(f"F1-Score: {f1_score:.4f}")

方法二：直接使用scikit-learn内置函数（更推荐）

无需手动处理混淆矩阵，直接调用内置函数获取单类别与整体指标，避免人为错误：

from sklearn.metrics import precision_score, recall_score, f1_score

# 获取每个类别的Precision、Recall、F1
per_label_precision = precision_score(gold_labels, predictions, average=None)
per_label_recall = recall_score(gold_labels, predictions, average=None)
per_label_f1 = f1_score(gold_labels, predictions, average=None)

# 打印单类别指标
for label, p, r, f1 in zip(labels_reduced, per_label_precision, per_label_recall, per_label_f1):
    print(f"Metrics for {label}.")
    print(f"Precision: {p:.4f}")
    print(f"Recall: {r:.4f}")
    print(f"F1-Score: {f1:.4f}")

# 计算整体指标（根据业务需求选择average参数）
macro_f1 = f1_score(gold_labels, predictions, average='macro')
micro_f1 = f1_score(gold_labels, predictions, average='micro')
weighted_f1 = f1_score(gold_labels, predictions, average='weighted')
print(f"\nOverall Macro F1: {macro_f1:.4f}")
print(f"Overall Micro F1: {micro_f1:.4f}")
print(f"Overall Weighted F1: {weighted_f1:.4f}")

内容的提问来源于stack exchange，提问作者ignacioct