Keras中零填充输出的F1分数计算及多类别F1指标相关问题

嘿，针对你用Keras构建LSTM序列标注器（处理高度不平衡数据、想用多类别F1当核心指标）遇到的两个问题，我给你详细梳理下实用的解决方案：

问题1：零填充后，自定义指标需要手动处理掩码吗？有高效方案吗？ #

肯定要手动处理！Keras的内置损失确实会自动忽略mask_zero=True标记的填充部分，但自定义指标不会——如果不管掩码，填充的0会被当成有效标签参与计算，直接把F1分数拉偏，完全不准。

给你一个高效向量化的解决方案，全程用Keras后端的Tensor操作，不用循环遍历样本，速度拉满：

import tensorflow as tf
from tensorflow.keras import backend as K

def multiclass_f1(y_true, y_pred, num_classes):
    # 生成掩码：过滤掉填充的位置（这里假设填充对应的真实标签是0，记得按你的实际标签调整）
    mask = K.cast(K.not_equal(K.argmax(y_true, axis=-1), 0), K.floatx())
    
    # 拿到真实类别和预测类别
    y_pred_class = K.argmax(y_pred, axis=-1)
    y_true_class = K.argmax(y_true, axis=-1)
    
    # 计算TP、FP、FN（只统计掩码内的有效数据）
    tp = K.sum(mask * K.cast(K.equal(y_true_class, y_pred_class), K.floatx()))
    fp = K.sum(mask * K.cast(K.not_equal(y_true_class, y_pred_class), K.floatx()))
    fn = K.sum(mask * K.cast(K.not_equal(y_true_class, y_pred_class), K.floatx()))
    
    # 计算F1，加K.epsilon()防止分母为0出现NaN
    precision = tp / (tp + fp + K.epsilon())
    recall = tp / (tp + fn + K.epsilon())
    f1 = 2 * (precision * recall) / (precision + recall + K.epsilon())
    
    return f1

如果你的标签是稀疏格式（不是one-hot编码），可以稍微改一下：

def sparse_multiclass_f1(y_true, y_pred, num_classes):
    mask = K.cast(K.not_equal(y_true, 0), K.floatx())
    y_pred_class = K.argmax(y_pred, axis=-1)
    
    tp = K.sum(mask * K.cast(K.equal(y_true, y_pred_class), K.floatx()))
    fp = K.sum(mask * K.cast(K.not_equal(y_true, y_pred_class), K.floatx()))
    fn = K.sum(mask * K.cast(K.not_equal(y_true, y_pred_class), K.floatx()))
    
    precision = tp / (tp + fp + K.epsilon())
    recall = tp / (tp + fn + K.epsilon())
    f1 = 2 * (precision * recall) / (precision + recall + K.epsilon())
    
    return f1

问题2：能不能直接用sklearn的f1_score？ #

可以，但不能直接扔给Keras用——因为sklearn的函数是基于NumPy数组的，而Keras训练时处理的是Tensor，得做一层兼容，还要手动处理掩码。

给你两种实现方式：

方式1：适合验证/测试阶段用（简单直观） #

from sklearn.metrics import f1_score
import tensorflow as tf
from tensorflow.keras import backend as K

def sklearn_multiclass_f1(y_true, y_pred, num_classes):
    # 把Tensor转成NumPy数组
    y_true_np = K.eval(y_true)
    y_pred_np = K.eval(y_pred)
    
    # 生成掩码，过滤填充部分
    mask = (y_true_np.argmax(axis=-1) != 0)
    
    # 提取有效数据的真实标签和预测标签
    y_true_valid = y_true_np.argmax(axis=-1)[mask]
    y_pred_valid = y_pred_np.argmax(axis=-1)[mask]
    
    # 计算多类别F1，average参数选weighted/macro/micro，按需调整
    return f1_score(y_true_valid, y_pred_valid, average='weighted')

这种方法在训练时用会慢一点，因为每次都要转NumPy，更适合验证或者测试的时候计算最终指标。

方式2：兼容Keras训练图（可以直接传入model.compile） #

用tf.py_function把sklearn的函数包装成TensorFlow兼容的操作：

from sklearn.metrics import f1_score
import tensorflow as tf
from tensorflow.keras import backend as K

def tf_sklearn_f1(y_true, y_pred, num_classes):
    def compute_f1(y_true, y_pred):
        # 把Tensor转成NumPy数组
        y_true = y_true.numpy().argmax(axis=-1)
        y_pred = y_pred.numpy().argmax(axis=-1)
        # 过滤填充部分
        mask = (y_true != 0)
        # 计算F1
        return f1_score(y_true[mask], y_pred[mask], average='weighted')
    
    # 包装成TensorFlow可识别的函数
    return tf.py_function(compute_f1, [y_true, y_pred], tf.float32)

这个可以直接当指标传入model.compile()，但要注意：模型保存和加载的时候可能需要额外配置，因为tf.py_function的兼容性不如纯Keras后端操作。

内容的提问来源于stack exchange，提问作者Igor Shalyminov